Private KI für Unternehmen: Auswahl, DSGVO, 10 Fragen
Kurz gesagt. Wer KI mit vertraulichen Dokumenten nutzen will, hat drei Wege: ein öffentlicher Online-Chatbot für Verbraucher, ein professionelles Cloud-Angebot mit Vertrag oder eine private KI für Unternehmen, die lokal auf Ihrer eigenen Hardware läuft. Die CNIL bevorzugt lokale, sichere und spezialisierte Systeme – aber eine lokale KI allein ist noch keine DSGVO-Konformität. Dieser Artikel vergleicht die drei Optionen und stellt 10 Fragen, die Sie jedem Anbieter stellen sollten, bevor Sie unterschreiben.
Private KI bezeichnet einen geregelten Zugang und eine definierte Datenverarbeitung. Sie kann lokal laufen oder mit passendem Vertrag extern gehostet werden. Dieser Leitfaden konzentriert sich auf lokale Verarbeitung interner Dokumente. Entscheidend sind Daten, Berechtigungen und der gesamte Ablauf, nicht die Produktbezeichnung. Sensible und regulierte Anwendungen erfordern eine gesonderte Prüfung.
Er stützt sich auf die CNIL-Seite zum Einsatz generativer KI (veröffentlicht im Juli 2024), auf den Text der DSGVO und auf die llama.cpp-Dokumentation, alle gelesen am 28. Oktober 2026. Wir installieren lokale KI in unserem Studio in Nizza, und das unten stehende Fragenraster stammt aus dieser Arbeit.
Was sind die drei Wege, KI im Unternehmen zu nutzen?
| Online-Chatbot für Verbraucher | Professionelles Cloud- oder API-Angebot | Lokale KI (Rechner oder Server) | |
|---|---|---|---|
| Wohin Ihre Dokumente gehen | auf die Server des Anbieters | auf die Server des Anbieters, mit Vertrag | bleiben auf Ihrem Rechner oder genehmigtem Speicher |
| Rechtlicher Rahmen | die Standardbedingungen des Anbieters | ein Auftragsverarbeitungsvertrag zum Lesen und Unterschreiben | Pflichten des Verantwortlichen bleiben; externe Auftragsverarbeiter prüfen |
| Kostenform | kostenlos oder Abo pro Person | pro Benutzer oder pro Token | Hardware und Einrichtung, keine Token-Abrechnung |
| Passt zu | nicht sensiblen Inhalten | vielfältigen Nutzungen ohne hohe Vertraulichkeitsanforderungen | vertraulichen Dokumenten, wiederkehrenden Aufgaben |
| Schwachpunkt | Sie kontrollieren weder Verarbeitung noch Weiterverwendung | Abhängigkeit vom Anbieter und dessen Subverarbeitern | Hardware, Einrichtung und Wartung liegen bei Ihnen |
Keiner der drei ist „der richtige“. Entscheidend ist die Art der Dokumente, die Sie hineinlegen.
Was sagen DSGVO und CNIL?
Klären Sie zuerst die Rollen für die konkrete Verarbeitung. Ein Anbieter, der personenbezogene Daten in Ihrem Auftrag verarbeitet, kann Auftragsverarbeiter sein; das gilt nicht automatisch für jede KI-Nutzung. Wenn dieses Verhältnis vorliegt, prüfen Sie mit Ihrer Datenschutzberatung folgende Anforderungen:
-
Ausreichende Garantien. Artikel 28 verlangt, nur Auftragsverarbeiter einzusetzen, die ausreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten.
-
Ein Vertrag. Die Verarbeitung wird durch einen Vertrag geregelt: Der Auftragsverarbeiter handelt nur nach dokumentierten Weisungen des Verantwortlichen, sein Personal ist zur Vertraulichkeit verpflichtet, und er löscht oder gibt die Daten nach Wahl des Verantwortlichen zurück.
-
Übermittlungen. Nach Artikel 44 ist eine Datenübermittlung in ein Drittland nur zulässig, wenn die Bedingungen des Kapitels über Übermittlungen erfüllt sind. Fragen Sie also, wo die Daten verarbeitet werden.
Die CNIL empfiehlt in ihrer Seite vom Juli 2024, von einem konkreten Bedarf auszugehen, statt generative KI ohne genaues Ziel einzuführen, zulässige und verbotene Nutzungen festzulegen (zum Beispiel keine personenbezogenen Daten an das System zu geben), Nutzer zu schulen und den Datenschutzbeauftragten, den Leiter der Informationssysteme und die Fachverantwortlichen früh einzubinden. Sie bevorzugt lokale, sichere und spezialisierte Systeme. Andernfalls müssen Sie prüfen, ob der Anbieter die an das System gegebenen Daten wiederverwenden kann, und die Nutzung entsprechend anpassen. Sie erinnert auch daran, dass solche Systeme Antworten liefern können, die ungenau, aber plausibel klingen.
Wann ist eine lokale KI sinnvoll?
Eine lokale KI ist vor allem in drei Fällen gerechtfertigt:
-
Vertrauliche Dokumente, etwa Verträge, Kundendossiers oder Patientendaten, die keinen Grund haben, Ihren Rechner zu verlassen.
-
Wiederkehrende Aufgaben, etwa das Transkribieren von Aufnahmen, das Extrahieren von Tabellen aus PDFs oder das Beantworten häufiger Fragen aus Ihren eigenen Dokumenten. Siehe zum Beispiel unseren Artikel zu PDF-Rechnungen nach Excel.
-
Kosten, die berechenbar bleiben müssen, ohne Abrechnung pro Token oder pro Benutzer.
Weniger sinnvoll ist sie beim gelegentlichen Verfassen nicht sensibler Texte oder wenn niemand Installation und Updates betreuen kann. In dem Fall kann ein gut beauftragtes professionelles Angebot vernünftiger sein.
Was brauchen Sie, um KI lokal zu betreiben?
Das Projekt llama.cpp gibt eine gute Referenz. Ziel ist es, Sprachmodelle ohne schweres Setup auf sehr unterschiedlicher Hardware laufen zu lassen: Prozessoren, Apple Silicon, Nvidia- und AMD-Grafikkarten und andere. Es bietet Quantisierung von 1,5 bis 8 Bit, was die Ausführung beschleunigt und den Speicherbedarf senkt, und teilt die Arbeit zwischen Prozessor und Grafikkarte auf – auch für Modelle, die größer sind als der Videospeicher. Es liefert außerdem einen Server, der mit der OpenAI-Schnittstelle kompatibel ist, sodass bestehende Tools sich verbinden können.
Das Fazit: Je größer das Modell, desto mehr Speicher braucht es, und die passende Hardware hängt vom Einsatz ab. Wir nennen keine universelle Zahl: Sie finden sie, indem Sie Ihre eigenen Dokumente testen.
Ein konkreter Abnahmetest vor echten Dokumenten
Beginnen Sie mit fiktiven oder freigegebenen, nicht sensiblen Dateien. Stellen Sie dem Dokumentenassistenten eine Frage, deren Antwort in einer benannten Quelle steht, und eine zweite, deren Antwort dort fehlt. Die erste Antwort soll auf die richtige Passage verweisen; bei der zweiten soll das System melden, dass die Information nicht gefunden wurde. Ein Quellenverweis beweist noch keine Richtigkeit: Öffnen Sie das Dokument und prüfen Sie die Aussage. Für einen Chatbot auf Ihrer eigenen Website geht ein 20-Fragen-Test vor dem Start weiter.
Vereinbaren Sie vor der Übergabe Tests für Benutzerrechte, das Löschen eines indexierten Dokuments, die Aufbewahrung von Protokollen und die Wiederherstellung einer Sicherung. Ist Offline-Betrieb erforderlich, testen Sie ihn nach der Installation aller Abhängigkeiten ohne externe Verbindung. Prüfen Sie auch OCR, Embeddings, Webwerkzeuge, Telemetrie, Sicherungen und Ersatzmodelle: Ein lokales Modell macht diese Komponenten nicht automatisch lokal.
Halten Sie Konfiguration, Soll-Ergebnis, Ist-Ergebnis und offene Punkte fest. Dies sind vorgeschlagene Abnahmetests, keine beim Kunden durchgeführten Versuche. Vor Nachrichtenversand, Änderungen an Geschäftsunterlagen und anderen wichtigen Aktionen bleibt eine menschliche Freigabe erforderlich.
Lokale Inferenz kann Token-Gebühren vermeiden. Hardware, Strom, Wartung, Softwarelizenzen und optionale Cloud-Dienste können dennoch Kosten verursachen. Prüfen Sie Modell- und Softwarelizenzen, kommerzielle Nutzungsrechte, gleichzeitige Benutzer und Antwortzeiten vor der Hardwareauswahl. Regulierte oder sensible Anwendungen brauchen eine gesonderte Prüfung statt pauschaler Sicherheitsversprechen.
Welche Fragen sollten Sie einem KI-Anbieter stellen?
Das ist das Raster, das wir verwenden – für ein Cloud-Angebot wie für eine lokale Installation. Eine vage Antwort auf eine dieser Fragen ist bereits eine Information.
| Frage | Gesunde Antwort | Warnsignal |
|---|---|---|
| Wo werden meine Dokumente verarbeitet? | ein genauer Ort, schriftlich | „in der Cloud“ und nichts weiter |
| Wo und wie lange werden sie gespeichert? | eine feste Frist, Löschung möglich | unbegrenzte Speicherung |
| Werden meine Daten zum Trainieren oder Verbessern des Modells genutzt? | nein, schriftlich | Schweigen oder „vielleicht“ |
| Gibt es einen Auftragsverarbeitungsvertrag (Art. 28)? | ja, mit dokumentierten Weisungen, Vertraulichkeit, Löschung oder Rückgabe | nur allgemeine Bedingungen |
| Welche Subverarbeiter sind beteiligt? | eine bekannte Liste | eine unbekannte oder verweigerte Liste |
| Gibt es Übermittlungen außerhalb der Europäischen Union (Art. 44)? | nein, oder eingeordnet und erklärt | keine Antwort |
| Wer kann aus der Ferne auf meine Daten zugreifen? | niemand ohne Ihre Zustimmung, Zugriffe protokolliert | nicht beschriebener Dauerzugriff |
| Werden Zugriffe und Aktionen protokolliert? | ja, und Sie können die Protokolle einsehen | kein Protokoll |
| Kann ich meine Daten exportieren und löschen? | ja, mit schriftlichem Verfahren | Export unmöglich |
| Was wird garantiert? | die Arbeit und die Abnahmetests | „DSGVO-konform“ als Garantie |
Die letzte Zeile ist wichtig: Niemand kann die Konformität Ihrer Verarbeitung für Sie garantieren. Ein seriöser Anbieter sagt Ihnen das.
Wo liegen die Grenzen einer privaten KI?
-
Sie ist kein Konformitätszertifikat. Sie bleiben Verantwortlicher, und die Einrichtung ersetzt weder Ihren Datenschutzbeauftragten noch einen Anwalt.
-
Fehler bleiben möglich. Auch ein lokales Modell kann Antworten liefern, die ungenau, aber plausibel klingen, wie die CNIL betont. Behalten Sie eine menschliche Kontrolle.
-
Die Qualität hängt vom Modell und der Hardware ab. Bei manchen Aufgaben kann ein Modell auf einem einzelnen Rechner hinter den größten gehosteten Modellen zurückbleiben. Prüfen Sie das an Ihren Dokumenten, bevor Sie sich festlegen.
-
Es gibt Wartung: Updates, Sicherungen und Zugriffsregeln, die Sie von Anfang an einplanen sollten.
-
„Offline“ ist eine Konfigurationsoption, kein geprüfter Sicherheitsstandard.
Wie arbeitet Castel Studio an privater KI?
Wir spezifizieren, installieren und schulen die Nutzung einer privaten KI-Workstation: eine schriftliche Spezifikation und ein Festpreisangebot, eine Hardwareliste, die Sie vor dem Kauf genehmigen, eine lokale Einrichtung für Dokumente, Suche und Texterstellung sowie eine Schulung bei der Übergabe. Der Einstiegspreis liegt bei 2.900 € ohne Hardware, ohne Abrechnung pro Token oder pro Benutzer. Ein Abnahmetest wird vor dem Bau schriftlich vereinbart. Für engere Bedürfnisse bietet die Seite zur lokalen KI unter anderem einen Assistenten auf Ihren eigenen Dokumenten ab 790 € sowie Transkription ohne Cloud ab 90 € pro Charge.
Wenn Sie zwischen einem Cloud-Angebot und einer lokalen Installation unsicher sind, beschreiben Sie Ihre Dokumente und Nutzungen in wenigen Zeilen, ohne sensible Dateien über das Formular zu senden. Wir antworten schriftlich innerhalb von 48 Stunden – auch mit einem klaren „lokale KI ist nicht die richtige Antwort“, wenn das der Fall ist.
Keine Token-Abrechnung bezieht sich auf die gewählte lokale Inferenz, nicht auf sämtliche Betriebskosten. Hardware, Strom, Wartung, Lizenzen, Support und optionale externe Komponenten müssen im Angebot getrennt aufgeführt sein.
Fragen
Ist eine lokale KI automatisch DSGVO-konform?
Nein. Eine vollständig lokale Konfiguration kann vermeiden, Dokumente an einen KI-Dienst zu senden. Angebundene Werkzeuge, Fernwartung und Sicherungen sind trotzdem zu prüfen. Rechtsgrundlage, Information, Sicherheit und Speicherfristen bleiben relevant. Lokaler Betrieb ist kein Konformitätszertifikat; ziehen Sie bei Bedarf Datenschutzbeauftragte oder Rechtsberatung hinzu.
Was ist der Unterschied zwischen privater, lokaler und On-Premise-KI?
Die Begriffe sind nicht gleichbedeutend. Lokal beschreibt den Ort der Verarbeitung, on-premise den Betrieb in Ihren Räumen. Privat beschreibt Zugriffsbedingungen oder vertragliche Regelungen und kann auch externes Hosting einschließen. Fragen Sie nach Betreiber, Datenflüssen und Zugriffsrechten.
Kann ich einen Online-Chatbot mit Kundendaten nutzen?
Klären Sie zunächst Daten, Zweck, Rechtsgrundlage und die tatsächlichen Rollen. Verarbeitet ein Anbieter personenbezogene Daten in Ihrem Auftrag, prüfen Sie den Vertrag nach Artikel 28 und anwendbare Regeln für internationale Übermittlungen. Ein Verbraucher-Chatbot eignet sich nicht automatisch für vertrauliche Kundenunterlagen.
Brauche ich einen großen Server, um KI lokal zu betreiben?
Nicht zwingend, aber der Arbeitsspeicher ist entscheidend. Projekte wie llama.cpp laufen auf Prozessoren, Apple Silicon und Grafikkarten, mit Quantisierung, die den Speicherbedarf senkt, und können die Arbeit zwischen Prozessor und Grafikkarte aufteilen – auch für Modelle, die größer sind als der Videospeicher. Die passende Hardware hängt vom Modell und vom Einsatz ab und findet sich durch Tests mit Ihren eigenen Dokumenten.
Was kostet eine private KI?
Bei Castel Studio beginnt ein PC bereit für lokale KI bei 390 € ohne Hardware, ein Assistent auf Ihren eigenen Dokumenten bei 790 € und eine private KI-Workstation bei 2.900 € ohne Hardware, ohne Abrechnung pro Token oder pro Benutzer. Ein Teamserver oder ein komplettes System wird nach schriftlichem Angebot kalkuliert.