Lokale KI: Wie Unternehmen die Kontrolle über ihre Daten behalten

Lokale KI bietet die Möglichkeit, KI-Anwendungen auf eigener Infrastruktur zu betreiben. Informationen müssen dann nicht zur Verarbeitung an einen externen KI-Dienst übertragen werden. Das kann Unternehmen mehr Kontrolle geben. Für echte KI-Souveränität reicht der Standort eines Servers allein aber nicht aus.

Was bedeutet lokale KI?

Bei einer lokalen KI läuft das KI-Modell beispielsweise auf einem Arbeitsplatzrechner oder einem Server im eigenen Unternehmensnetz. Die Verarbeitung einer Anfrage findet dort statt, statt über die Schnittstelle eines externen Cloud-Anbieters.

Dafür muss ein Unternehmen nicht selbst ein Sprachmodell entwickeln oder trainieren. Bereits trainierte Modelle lassen sich, abhängig von Lizenz und technischen Anforderungen, auf eigener Hardware einsetzen.

Ein vollständig lokaler Betrieb erfordert jedoch mehr als ein lokal installiertes Chatfenster. Auch die Verarbeitung von Dokumenten, die Spracherkennung, die Suche und weitere eingebundene Komponenten müssen berücksichtigt werden. Nutzt eine dieser Funktionen einen externen Dienst, können darüber weiterhin Daten das Unternehmen verlassen.

Entscheidend ist deshalb der vollständige Datenweg: vom hochgeladenen Dokument bis zur gespeicherten Antwort.

KI-Souveränität heißt, selbst entscheiden zu können

KI-Souveränität beschreibt hier die Fähigkeit eines Unternehmens, den Einsatz seiner KI wirksam zu kontrollieren. Dazu gehört, bewusst entscheiden zu können:

• Welche Daten darf die KI verarbeiten?

• Wer darf welche Informationen abrufen?

• Wo werden Eingaben, Dokumente und Ergebnisse gespeichert?

• Welche Anbieter und technischen Komponenten sind beteiligt?

• Lässt sich das Modell austauschen, ohne die gesamte Anwendung neu aufzubauen?

• Wer kann den Betrieb warten, prüfen und bei Bedarf abschalten?

Eine lokale Installation kann dabei helfen. Abhängigkeiten von Hardware, Software und Modellanbietern bleiben aber bestehen. Auch frei herunterladbare Modellgewichte bedeuten nicht automatisch, dass das gesamte Modell offen dokumentiert ist oder uneingeschränkt kommerziell genutzt werden darf.

Souveränität entsteht deshalb durch eine geeignete Architektur, klare Verträge und eigenes Wissen über den Betrieb.

Wo lokale KI im Unternehmen sinnvoll sein kann

Besonders interessant ist lokale KI für klar abgegrenzte Aufgaben mit vertraulichen Informationen. Die folgenden Beispiele zeigen mögliche Einsatzfelder, keine automatisch verfügbaren Standardfunktionen.

Internes Wissen leichter finden

Ein Mitarbeiter sucht eine Wartungsanleitung, eine interne Prozessbeschreibung oder die Regelung zu einem bestimmten Servicefall. Eine KI-gestützte Suche kann passende Dokumentstellen finden und daraus eine Antwort mit Quellenhinweisen formulieren.

Dazu muss das Modell nicht zwangsläufig mit Unternehmensdaten nachtrainiert werden. Häufig genügt es, relevante Textstellen bei einer Anfrage gezielt bereitzustellen. Dieses Verfahren wird als Retrieval-Augmented Generation, kurz RAG, bezeichnet.

Wichtig ist die Rechteprüfung: Die KI darf einem Mitarbeiter keine Inhalte zugänglich machen, die er im ursprünglichen Dokumentensystem nicht sehen dürfte.

Vertrauliche Dokumente vorbereitend auswerten

Angebote vergleichen, Vertragsinhalte zusammenfassen oder Informationen aus Projektunterlagen herausarbeiten: Solche Aufgaben können sich für einen lokalen Assistenten eignen.

Die Ergebnisse müssen allerdings geprüft werden. Auch ein lokal betriebenes Modell kann Inhalte falsch zuordnen, wichtige Einschränkungen übersehen oder Aussagen erfinden. Bei kaufmännisch oder rechtlich relevanten Entscheidungen bleibt die fachliche Kontrolle notwendig.

Besprechungen dokumentieren

Eine lokal betriebene Spracherkennung kann Aufnahmen in Text umwandeln. Ein Sprachmodell kann anschließend Aufgaben, offene Fragen und Entscheidungen herausarbeiten.

Auch hier gelten Voraussetzungen: Die Aufzeichnung muss zulässig sein, Beteiligte müssen entsprechend informiert werden und Zugriffs- sowie Löschregeln müssen feststehen. Der lokale Betrieb ersetzt diese Prüfung nicht.

Lokal bedeutet nicht automatisch sicher oder DSGVO-konform

Ein eigener Server verhindert weder falsche Berechtigungen noch schlecht geschützte Zugänge. Werden dort sämtliche Dokumente ohne Zugriffstrennung für alle Beschäftigten durchsuchbar, entsteht ein neues Sicherheitsproblem.

Hinzu kommen KI-spezifische Risiken. In einem Dokument können beispielsweise versteckte Anweisungen stehen, die das Modell zu unerwünschten Ausgaben oder Aktionen verleiten sollen. Solche sogenannten Prompt-Injection-Angriffe sind auch bei lokalen Modellen möglich. Das BSI empfiehlt deshalb eine auf den jeweiligen Einsatzfall bezogene Risikoanalyse.[1]

Zum sicheren Betrieb gehören unter anderem:

• individuelle Benutzerkonten und passende Zugriffsrechte,

• kontrollierte Netzwerkverbindungen und externe Schnittstellen,

• regelmäßige Sicherheitsupdates,

• geschützte Protokolle mit festgelegten Aufbewahrungsfristen,

• Datensicherung und ein getesteter Wiederherstellungsweg,

• klare Grenzen für selbstständige Aktionen der KI.

Bei personenbezogenen Daten kommen datenschutzrechtliche Anforderungen hinzu. Dazu zählen beispielsweise eine geeignete Rechtsgrundlage, Zweckbindung, Datenminimierung und die Wahrung von Betroffenenrechten. Die Datenschutzkonferenz bietet hierfür eine Orientierungshilfe zur Auswahl und Nutzung von KI-Anwendungen.[2]

Was kostet die zusätzliche Kontrolle?

Lokale KI ist nicht grundsätzlich günstiger als ein Cloud-Dienst. Neben der Hardware fallen Aufwand für Einrichtung, Wartung, Updates, Energie und fachliche Betreuung an.

Welche Ausstattung benötigt wird, hängt von der Aufgabe ab. Ein Assistent für kurze Texte stellt andere Anforderungen als eine Anwendung, die umfangreiche Dokumente für viele Beschäftigte gleichzeitig verarbeitet. Auch Modellgröße, Antwortgeschwindigkeit und gewünschte Qualität spielen eine Rolle.

Ein kleineres Modell kann für eine eng umrissene Aufgabe ausreichen. Ob es tatsächlich geeignet ist, sollte jedoch mit realistischen Beispielen geprüft werden. Ein überzeugender Test mit wenigen einfachen Fragen ist noch kein Nachweis für einen zuverlässigen Produktivbetrieb.

Cloud oder lokal? Die Daten und die Aufgabe entscheiden

Nicht jedes Unternehmen muss seine gesamte KI-Nutzung lokal betreiben. Ein geprüftes Cloud-Angebot kann für bestimmte Aufgaben sinnvoll sein, etwa wenn flexible Kapazitäten oder spezielle Modellfähigkeiten benötigt werden.

Ebenso ist eine Kombination möglich: Vertrauliche Dokumente werden lokal verarbeitet, während für freigegebene, unkritische Inhalte ein externer Dienst genutzt wird.

Dabei muss die Trennung technisch und organisatorisch nachvollziehbar sein. Ein automatischer Wechsel auf ein Cloud-Modell darf nicht unbemerkt vertrauliche Inhalte nach außen übertragen. Auch ein Rechenzentrumsstandort in Deutschland beantwortet noch nicht alle Fragen zu Betreiberzugriffen, Unterauftragnehmern und vertraglichen Regelungen.

So gelingt ein sinnvoller Einstieg

Am Anfang sollte ein konkreter Arbeitsablauf stehen, nicht der Kauf eines KI-Servers.

Wählen Sie eine Aufgabe, deren Nutzen und Qualität sich beurteilen lassen. Beispielsweise die Suche in freigegebenen Serviceunterlagen. Legen Sie anschließend fest, welche Daten verwendet werden dürfen, wer Zugriff erhält und woran ein brauchbares Ergebnis erkennbar ist.

Ein begrenzter Pilot sollte dann zeigen:

• Findet die KI die richtigen Informationen?

• Sind ihre Antworten durch Quellen nachvollziehbar?

• Werden bestehende Berechtigungen zuverlässig eingehalten?

• Wie häufig müssen Ergebnisse korrigiert werden?

• Passt der Betriebsaufwand zum tatsächlichen Nutzen?

Erst danach lässt sich fundiert entscheiden, welches Modell und welche Infrastruktur zum Unternehmen passen.

Mehr Kontrolle braucht einen durchdachten Betrieb

Lokale KI kann vertrauliches Wissen nutzbar machen, ohne es zur Verarbeitung an einen externen KI-Dienst übermitteln zu müssen. Ihr Wert liegt vor allem dort, wo Unternehmen Datenwege, Zugriffe und Betriebsbedingungen selbst steuern wollen.

KI-Souveränität bedeutet dabei nicht, alles selbst zu entwickeln. Sie bedeutet, die eingesetzte Technik zu verstehen, ihre Grenzen zu kennen und handlungsfähig zu bleiben.

Sie möchten KI mit internen Unternehmensdaten einsetzen? Bringen Sie einen konkreten Anwendungsfall mit ins Gespräch. An ihm lässt sich klären, ob ein lokaler, ein cloudbasierter oder ein kombinierter Ansatz sinnvoll ist.

Kontakt aufnehmen

Quellen und weiterführende Informationen

[1] BSI: Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden

[2] Datenschutzkonferenz: Orientierungshilfe „Künstliche Intelligenz und Datenschutz“