Alle Artikel

Lokales LLM im Kleinunternehmen: 7 Fragen vor dem Start

Kurz gesagt. Ein lokales LLM im Kleinunternehmen ist ein Sprachmodell, das vollständig auf Ihrer eigenen Hardware läuft und keinen externen Dienst aufruft. Das senkt ein Risiko, löst aber weder die Frage der Antwortqualität noch die der Sicherheit oder der DSGVO. Dieser Leitfaden bietet sieben Fragen vor der Installation und Richtwerte für Modellgrößen.

Bleistift- und Aquarellillustration einer Unternehmerin am Computer mit einem Assistenten, einer Workstation und Projektunterlagen.
Fiktiver Arbeitsplatz. Die lokale Verarbeitung muss im gesamten Ablauf geprüft werden; die Zeichnung belegt weder Sicherheit noch Konformität.

„Lokales LLM“ ist ein geläufiger Begriff geworden, steht aber für sehr verschiedene Situationen: eine kostenlose Software auf dem Laptop, einen Server im Technikraum oder schlicht ein Online-Werkzeug, das als privat beschrieben wurde. Dieser Leitfaden hilft Inhabern kleiner Unternehmen zu entscheiden, ob sie so etwas brauchen und unter welchen Bedingungen sie es ausprobieren sollten. Er stützt sich auf die Projektseiten von llama.cpp und Ollama, die Dokumentation von Hugging Face, eine Seite der CNIL und Artikel 32 der DSGVO, alle am 29. Oktober 2026 gelesen.

Was genau ist ein lokales LLM?

Ein LLM (großes Sprachmodell) ist ein Programm, das aus einer Anweisung Text erzeugt. Es besteht aus zwei Teilen: einer Engine, die es ausführt, und einer Datei mit „Gewichten“, die das trainierte Modell enthält. Ein LLM lokal zu betreiben heißt, diese Gewichte herunterzuladen und auf Ihrer Hardware auszuführen.

Lokal meint hier die ganze Kette: keine externe API, kein automatischer Rückfall in die Cloud, keine Telemetrie, keine Ordnersynchronisierung zu einem Drittdienst. Prüfen Sie auch die Ziele der Datensicherung. Eine Software, die auf dem Rechner installiert, aber mit einem Online-Dienst verbunden ist, ist im Sinne dieses Leitfadens nicht lokal.

Ein Wort zur Begrifflichkeit: Modelle werden oft „Open Source“ genannt, obwohl bei vielen nur die Gewichte offen sind. Die Lizenz der Engine und die Lizenz des Modells sind zwei verschiedene Dinge. Die Projekte llama.cpp und Ollama stehen unter der MIT-Lizenz, doch das sagt nichts über die Lizenz des Modells, das Sie herunterladen: Lesen Sie sie Modell für Modell, besonders bei kommerzieller Nutzung.

Womit führt man ein Modell aus?

llama.cpp Ollama
Rolle Engine zur Ausführung Werkzeug, das Modelle herunterlädt und startet
Systeme viele Arten von Hardware (x86-Prozessoren, Apple Silicon, Grafikkarten von Nvidia, AMD und Intel) macOS, Windows, Linux und Docker
Softwarelizenz MIT MIT
Bedienung Kommandozeile und Server Kommandozeile und lokale API

Laut README will llama.cpp die Ausführung „mit minimalem Einrichtungsaufwand“ auf vielen Arten von Hardware ermöglichen und unterstützt Quantisierungen von 1,5 bis 8 Bit. Das README von Ollama besagt, dass sich ein Modell lokal ausführen lässt und die API auf Port 11434 des Rechners bereitsteht. Diese Seiten belegen, dass es technisch machbar ist; über die Qualität der Antworten für Ihr Gewerbe oder die Rechtmäßigkeit einer bestimmten Nutzung sagen sie nichts.

Welchen Rechner sollte man einplanen?

Ein Modell ist eine große Datei voller Zahlen. Die Quantisierung senkt die Genauigkeit jeder Zahl, damit die Datei kleiner wird. Die Hugging-Face-Dokumentation zum GGUF-Format nennt für jeden Typ die Bits pro Gewicht: etwa 4,5 für Q4_K, 6,56 für Q6_K und 16 für F16.

Eine einfache Rechnung liefert einen Richtwert für die Dateigröße (Parameter × Bits pro Gewicht ÷ 8). Das ist unsere Rechnung anhand dieser Tabellen, keine Messung:

Modell In F16 In Q4_K
7 Milliarden Parameter etwa 14 GB etwa 3,9 GB
14 Milliarden Parameter etwa 28 GB etwa 7,9 GB

Der tatsächlich genutzte Speicher liegt über der Dateigröße: Er hängt auch von der Kontextlänge, der Engine und den Einstellungen ab. Bei stärkerer Quantisierung sinkt zudem die Qualität, wie stark, hängt von Modell und Aufgabe ab. Diese Zahlen dienen dazu, unmögliche Fälle auszuschließen, nicht dazu, einen Kauf zu bemessen: Testen Sie zuerst auf dem Rechner, den Sie bereits haben.

Brauchen Sie ein lokales LLM? Sieben Fragen zur Entscheidung

Stellen Sie sie für die konkrete Aufgabe, die Sie im Kopf haben, nicht für „KI“ im Allgemeinen.

Frage Wenn die Antwort lautet … Dann
1. Welche Daten muss das Modell lesen? personenbezogene oder vertrauliche lokal ist ernsthaft zu prüfen
2. Würde ein Online-Werkzeug genügen, bei Texten ohne sensible Daten? ja lokal ist nicht nötig
3. Welche Qualität brauchen Sie? feine Formulierungen, lange Argumentation zuerst testen: kleine Modelle enttäuschen manchmal
4. Wie viele Personen werden es nutzen? mehrere, gleichzeitig einen Server einplanen, nicht nur einen Rechner
5. Wer installiert, aktualisiert und behebt Störungen? niemand nicht anfangen
6. Wer prüft die Antworten vor der Verwendung? niemand nicht anfangen
7. Woran erkennen Sie, dass es funktioniert? kein Kriterium zwanzig echte Fragen und die erwartete Antwort aufschreiben

Wenn Sie Frage 1 mit „nein“ und Frage 2 mit „ja“ beantworten, ist ein Online-Werkzeug wahrscheinlich einfacher. Wenn für die Fragen 5, 6 und 7 keine Antwort vorliegt, ist das Projekt nicht bereit, gleich welche Hardware vorhanden ist.

Was sagen CNIL und DSGVO?

Zwei Punkte genügen, um zu entscheiden, ob man sich mit lokal befassen sollte.

  • Eine Empfehlung der CNIL, im Zusammenhang gelesen. Auf ihrer Seite zur Einführung generativer KI empfiehlt die CNIL, „lokale, sichere und spezialisierte Systeme“ zu bevorzugen (unsere Übersetzung aus dem Französischen). Diese Seite gibt erste Antworten zur Einführung; sie beschreibt weder, was ein Betrieb vor Ort erfordert, noch Sicherheitsmaßnahmen, und lässt Entwurf und Training von Modellen aus.

  • Sicherheit, egal wo das System läuft. Artikel 32 der DSGVO verlangt vom Verantwortlichen geeignete technische und organisatorische Maßnahmen, die dem Risiko angemessen sind. Er schreibt keine lokale Verarbeitung vor, und lokale Verarbeitung ersetzt diese Maßnahmen nicht: namentliche Zugriffe, Protokolle, Datensicherungen, Speicherdauer.

Diese Seiten decken nicht jeden Fall ab. Bei Gesundheitsdaten, Kunden- oder Mitarbeiterdaten legen Sie Zweck und Rechtsgrundlage mit Ihrem Datenschutzbeauftragten oder einer Juristin bzw. einem Juristen fest, bevor Sie etwas starten.

Wie sieht ein vernünftiger erster Test aus?

Hier ein fiktives Beispiel, ohne echten Kunden. Ein Unternehmen möchte interne Besprechungsprotokolle zusammenfassen. Statt Hardware zu kaufen, geht es so vor:

  1. Testsatz zusammenstellen. Zwanzig fiktive oder anonymisierte Protokolle, zu jedem schreibt eine Person die erwartete Zusammenfassung.
  2. Ein kleines Modell installieren auf dem vorhandenen Rechner, mit einem der oben genannten Werkzeuge, ohne Netzverbindung, wenn die Vorgabe streng ist.
  3. Vergleichen. Auslassungen, Fehler bei Zahlen und Namen sowie die Antwortzeit notieren. Dasselbe mit dem aktuell genutzten Online-Werkzeug durchführen.
  4. Erst danach entscheiden, anhand der Ergebnisse: beim Online-Werkzeug bleiben, ein größeres lokales Modell nehmen oder nichts ändern.

Das veranschaulicht eine Methode, kein gemessenes Ergebnis. Die tatsächlichen Unterschiede hängen von Modell, Sprache, Rechner und Dokumenten ab.

Eine Person gleicht zwei Antwortentwürfe mit einem Quelldokument ab und markiert eine Abweichung mit einem blauen Bleistift.
Illustration eines vorgeschlagenen Tests: Auslassungen, Namen, Zahlen und Antwortzeit prüfen. Sie zeigt weder Messwerte noch ein überlegenes Modell.

Welche Grenzen hat ein lokales LLM?

  • Qualität ist nicht garantiert. Die Modelle, die sich auf einem Rechner betreiben lassen, sind oft kleiner als die größten Online-Modelle. Fehler, Auslassungen und falsche Antworten in selbstsicherem Ton bleiben möglich: Eine Prüfung durch Menschen ist nötig.

  • Sie brauchen Hardware und Wartung. Speicher, womöglich eine Grafikkarte, Aktualisierungen von Werkzeugen und Modellen und jemanden, der Störungen behebt. Lokal ist nicht immer kostenlos: Hardware, Strom und Zeit kosten Geld.

  • Modelllizenzen unterscheiden sich. Die Lizenz der Engine sagt nichts über die Gewichte; manche schränken die kommerzielle Nutzung ein.

  • Lokal ist kein Konformitätsnachweis. Es senkt ein Risiko (die Weitergabe von Daten an Dritte), ersetzt aber weder die Information der Betroffenen noch die Sicherheit noch den Rat Ihres Datenschutzbeauftragten.

  • Gemeinsame Nutzung macht es komplizierter. Ein Modell auf einem persönlichen Rechner lässt sich nicht ohne Netzwerkeinrichtung, Zugriffsrechte und Absicherung teilen.

Wie arbeitet Castel Studio mit lokaler KI?

Unsere Seite Private KI bündelt unsere Angebote, darunter Transkription ohne Cloud ab 90 € pro Paket (Ort der Verarbeitung, Zugriffe und Speicherdauer werden vor dem Versand der Dateien vereinbart), einen Assistenten, der Ihr Geschäft kennt, ab 790 € und eine Workstation für Ihre Aufgaben nach schriftlichem Angebot. Hosting, Modell- oder API-Kosten, Strom und Wartung werden gesondert vereinbart; wir legen Tests schriftlich fest und garantieren keine Ergebnisse.

Um die Optionen vor der Wahl zu vergleichen, lesen Sie unseren Leitfaden zu privater KI für Unternehmen, der zehn Fragen an einen Anbieter enthält. Wenn Sie eher eine Aufgabe automatisieren möchten, sehen Sie sich auch unsere Artikel zu KI-Agenten für ein Kleinunternehmen und zu PDF-Rechnungen nach Excel an.

Beschreiben Sie in wenigen Zeilen die Aufgabe, die Art der Dokumente und die vorhandene Hardware, ohne sensible Dateien über das Formular anzuhängen. Wir antworten schriftlich innerhalb von 48 Stunden, auch um Ihnen zu sagen, dass in Ihrem Fall ein Online-Werkzeug genügt.

Fragen

Was ist ein lokales LLM?

Ein Sprachmodell, dessen Gewichte heruntergeladen und auf Ihrer eigenen Hardware ausgeführt werden. Damit "lokal" stimmt, muss die ganze Kette lokal sein: keine externe API, kein Rückfall in die Cloud, keine Telemetrie und keine automatische Ordnersynchronisierung. Eine auf dem Rechner installierte Anwendung garantiert das allein nicht.

Ist ein lokales LLM DSGVO-konform?

Nicht automatisch. Wer die Daten auf den eigenen Rechnern lässt, schickt sie nicht an einen Dienstleister, doch Zweck, Information der Betroffenen, Zugriffe, Speicherdauer und Sicherheit müssen trotzdem geregelt werden. Die DSGVO verlangt keine lokale Verarbeitung, sondern dem Risiko angemessene Maßnahmen.

Welchen Rechner braucht man für ein lokales LLM?

Das hängt vom Modell, der Quantisierung und der Kontextlänge ab. Als Größenordnung: Ein Modell mit 7 Milliarden Parametern bei etwa 4,5 Bit pro Gewicht ergibt eine Datei von rund 4 GB; der tatsächlich benötigte Speicher ist höher. Testen Sie auf Ihrer Hardware, bevor Sie etwas kaufen.

Kommt ein lokales Modell an ChatGPT oder Claude heran?

Eine allgemeine Antwort gibt es nicht. Die Modelle, die ein Kleinunternehmen betreiben kann, sind oft kleiner als die größten Online-Modelle. Messen Sie an zwanzig echten Fragen aus Ihrer Arbeit und vergleichen Sie mit dem Werkzeug, das Sie heute nutzen.

Was kostet es, lokale KI einzurichten?

Bei Castel Studio nennt die Seite Private KI Angebote ab 90 € (Transkription ohne Cloud, pro Paket) und einen Assistenten für Ihre Dokumente ab 790 €. Eine Workstation wird per schriftlichem Angebot kalkuliert. Hardware, Strom, Wartung und Prüfzeit kommen hinzu.

Kontakt

Dieses Postfach liest eine Person — dieselbe, die baut, was Sie bestellen.

Beschreiben Sie Ihre Aufgabe

Schreiben Sie, was Sie haben und welches Ergebnis Sie brauchen — auch wenn es nur eine kleine Aufgabe ist. Kein Lastenheft nötig: innerhalb von 48 Stunden erhalten Sie Plan und Preis schriftlich, eine Rückfrage oder ein ehrliches „passt nicht“.

Nennen Sie Situation, Dateien oder Links, Termin, Sprache, Datenschutzgrenzen und Budgetrahmen, falls vorhanden.

Datei (optional)
Keine Datei ausgewählt

Ein Briefing, ein Foto, eine Tabelle — was die Aufgabe schneller erklärt als Text. Bis 8 MB, gespeichert bei unserem Hosting-Anbieter. Bitte senden Sie keine sensiblen persönlichen oder medizinischen Unterlagen über die Website.

Das Absenden erzeugt keinen Auftrag und keine Zahlung. Antwort innerhalb von 48 Stunden. Lieber per E-Mail? contact@castel.studio

Sprechen Sie mit uns

Lieber per Telefon oder Messenger? Schreiben oder rufen Sie an — es antwortet der Gründer des Studios.

Auf LinkedIn vernetzen

Telefon · WhatsApp · Telegram

Frankreich+33 7 49 57 41 69WhatsAppTelegram

Ukraine+38 063 95 77 111WhatsAppTelegram

Lieber über eine Plattform?

Bestellen Sie dieselbe Arbeit dort, mit der sicheren Zahlung der Plattform.

Ein-Personen-KI-Studio in Nizza. Wer auf Ihre Nachricht antwortet, macht auch die Arbeit — keine Account-Manager dazwischen. Dateien werden auf unserer eigenen Maschine verarbeitet, nicht in fremder Cloud.

Nizza 06100, Frankreich · In Karten öffnen →

SIREN 103 115 705

Aufgabe beschreiben