LLM as a judge: den KI-Richter vor dem Einsatz prüfen
Kurz gesagt. LLM as a judge heißt: Ein Sprachmodell bewertet die Arbeit eines anderen nach schriftlichen Kriterien. Veröffentlichte Studien zeigen, dass es bei Chatbot-Antworten nah an die Übereinstimmung zwischen Menschen herankommt, und sie beschreiben zugleich Verzerrungen durch Reihenfolge, Länge und Vorliebe für das Eigene. Bevor Sie sich darauf verlassen, testen Sie es: Schleusen Sie bekannte Fehler ein und zählen Sie die Treffer. In einem unserer Tests fand ein Modell 0 von 3, ein anderes 3 von 3.
LLM as a judge kommt meist dort zum Einsatz, wo eine KI mehr Text erzeugt, als jemand lesen kann: Übersetzungen, Antworten an Kunden, Zusammenfassungen, Ergebnisse eines Agenten. Ein zweites Modell liest das Ergebnis und fällt ein Urteil. Dieser Artikel richtet sich an alle, die solche Systeme bauen oder einkaufen und wissen müssen, ob sie dem Urteil trauen können. Er zeigt, was die Forschung sagt, welche Verzerrungen zu erwarten sind und welchen Test wir heute bei jedem KI-Prüfer in unseren eigenen Abläufen durchführen.
Was ist LLM as a judge?
LLM as a judge ist eine Methode, bei der ein Sprachmodell ein Ergebnis nach schriftlichen Kriterien bewertet und eine Note, ein Urteil bestanden oder nicht bestanden oder eine Wahl zwischen zwei Antworten liefert. Das Ergebnis kann von einem anderen Modell, einem Agenten oder einem Menschen stammen. Die Methode ersetzt einen Teil des menschlichen Lesens, sodass sich Tausende Einträge prüfen lassen.
Drei Formen sind üblich:
- Paarvergleich: Der Richter sieht zwei Antworten und wählt die bessere.
- Benotung: Der Richter vergibt nach einem Raster eine Note für eine Antwort.
- Bestanden oder nicht: Der Richter prüft eine genaue Bedingung, zum Beispiel „Enthält diese Übersetzung noch alle Daten?“.
Die dritte Form lässt sich am leichtesten kontrollieren, weil ein Mensch schnell sieht, ob das Urteil stimmt.
Wie zuverlässig ist ein KI-Richter?
Bei manchen Aufgaben kommt ein KI-Richter nah an die Übereinstimmung zwischen Menschen heran, doch diese Zahl lässt sich nicht auf Ihre Aufgabe übertragen. In der Studie, die die Methode bekannt machte, erreichten starke Richter wie GPT-4 über 80 % Übereinstimmung mit menschlichen Präferenzen, also das Niveau zwischen Menschen. Gemessen wurde das an offenen Fragen an Chat-Assistenten.
Andere Aufgaben ergeben ein weniger bequemes Bild. G-Eval, eine Bewertungsmethode auf Basis von GPT-4, meldet eine Spearman-Korrelation von 0,514 mit menschlichen Bewertungen bei Textzusammenfassungen. Das ist ein nützliches Signal, aber weit von voller Übereinstimmung entfernt. Der Leitfaden von Anthropic zur Bewertung von Agenten nennt Modell-Prüfer flexibel und skalierbar, aber auch nicht deterministisch, teurer als Code-Prüfungen und abhängig von der Kalibrierung an menschlichen Prüfern.
Welche Verzerrungen hat ein KI-Richter?
Die veröffentlichten Arbeiten nennen vier Hauptprobleme, und für jedes gibt es eine praktische Antwort.
- Reihenfolge. Die Anordnung der Antworten verändert das Urteil. In einer Studie genügte eine andere Reihenfolge, damit Vicuna-13B ChatGPT bei 66 von 80 Anfragen schlug, mit ChatGPT als Bewerter. Antwort: in beiden Reihenfolgen vergleichen und die Ergebnisse zusammenführen.
- Länge. Die Autoren von MT-Bench zählen Weitschweifigkeit zu den Verzerrungen: Eine längere Antwort kann besser wirken. Antwort: ins Raster schreiben, dass Länge keine Punkte bringt, und die Urteile an kurzen richtigen Antworten prüfen.
- Vorliebe für das Eigene. Ein Modell kann eigene Texte höher bewerten als fremde, obwohl Menschen sie für gleichwertig halten. Antwort: Der Richter darf nicht das Modell sein, das den Text geschrieben hat.
- Begrenztes Schlussfolgern. Ein Richter kann bei genau der Rechnung oder Logik scheitern, die er prüfen soll. Antwort: solche Prüfungen dem Code geben.
Auch ein Gremium kann helfen. In der Studie Replacing Judges with Juries schnitten mehrere kleinere Modelle aus verschiedenen Familien auf sechs Datensätzen besser ab als ein großer Richter und waren über siebenmal günstiger. Das gilt für die getesteten Datensätze: ein Grund, es auszuprobieren und zu messen, keine Regel.
Wie testet man einen KI-Prüfer mit eingeschleusten Fehlern?
Man testet einen KI-Prüfer, indem man bekannte Fehler in seine echten Eingabedaten legt und zählt, wie viele er meldet. Übersieht er sie, ist sein „keine Beanstandung“ nichts wert. Das dauert ein bis zwei Stunden und braucht kein Forschungsteam.
- Nehmen Sie einen echten Stapel der Arbeit, die der Richter prüfen wird, im echten Format.
- Schleusen Sie zwei oder drei bekannte Fehler ein, von der Art, die Sie fürchten: vertauschte Übersetzungen, ein falsches Datum, eine erfundene Tatsache.
- Ergänzen Sie eine umgekehrte Falle: eine richtige, aber ungewöhnliche Zeile, die nicht geändert werden darf. Sie misst Fehlalarme.
- Lassen Sie den Richter im selben Durchlauf arbeiten, mit dem Prompt aus dem Betrieb und ohne Hinweis auf die eingeschleusten Fehler.
- Zählen Sie: gefundene Fehler, Fehlalarme, nicht gelesene Einträge.
- Legen Sie die Regel im Code fest: Ein übersehener eingeschleuster Fehler lässt den ganzen Durchlauf scheitern, und ein nicht gelesener Eintrag gilt als Fehlschlag, nie als sauber.
Wiederholen Sie den Test, wenn sich Modell, Prompt oder Inhaltsart ändern. Ein Richter, der für eine Aufgabe ausgewählt wurde, hat für die nächste noch nichts bewiesen.
Was hat dieser Test in unseren Abläufen gezeigt?
Bei uns arbeiten KI-Prüfer in Übersetzungs- und Medienabläufen, und drei Fälle haben unser Vorgehen verändert. Es sind kleine Tests für bestimmte Aufgaben, sie sagen also nichts Allgemeines über ein Modell.
Ein Prüfer, der nichts fand. In einem mehrsprachigen Fragebogen mit 341 Zeilen haben wir drei Fehler eingeschleust. Ein Modell fand 0 von 3. Ein anderes fand 3 von 3 in jeder der vier getesteten Sprachen und dazu einen echten Fehler, den niemand gesehen hatte: Ein medizinisches Wort für „Stuhl“ im Sinne von Stuhlgang war als Möbelstück übersetzt. Kleinere Versionen dieses zweiten Modells fanden die eingeschleusten Fehler ebenfalls, meldeten auf Usbekisch und Kasachisch aber Dutzende Fehlalarme. Eine gute Trefferquote erspart also nicht den Blick auf die Fehlalarme.
Ein sauberer Bericht, ohne dass etwas gelesen wurde. Eine Qualitätskontrolle für Videos meldete 0 Mängel bei 21 Bildern. Der Bilderkennungsdienst war ausgefallen, kein Bild wurde gelesen, und „nicht gelesen“ galt als „kein Mangel“. Aufgefallen ist es erst mit bloßem Auge im fertigen Video. Seitdem bedeutet ein nicht verfügbares Werkzeug einen Fehlschlag.
Ein Prüfer, der Fakten erfand. Ein Modell zum Korrekturlesen von Übersetzungen bestand seinen Test: 6 von 6 eingeschleusten Sprachfehlern, keine überflüssige Änderung. Im Betrieb ersetzte es dann Demo-Kontaktdaten durch eine glaubwürdig erfundene Adresse, Telefonnummer und E-Mail. Der Test hatte die Sprache geprüft, nicht die Fakten. Jetzt lehnt der Code jede Änderung ab, die Zahlen, E-Mails oder Links verändert, und der Test enthält eine Zeile mit fremden Kontaktdaten, die unberührt bleiben muss.
Was gehört zum Code, zum Richter und zum Menschen?
Die meisten Prüfungen brauchen keinen Richter. Geben Sie jede an das Günstigste, das sie zuverlässig erledigt.
| Prüfung | Wer sie macht | Warum |
|---|---|---|
| Zahlen, Daten, E-Mails und Links unverändert | Code | Die Antwort ist exakt, und ein Modell will sie vielleicht „verbessern“ |
| Format, Länge, Pflichtfelder | Code | Kostenlos, wiederholbar, immer dasselbe Ergebnis |
| Ton, Klarheit, Antwort auf die gestellte Frage | Richter | Offene Kriterien, zu viel Menge für einen Menschen |
| Sinn zwischen zwei Sprachen erhalten | Richter mit eingeschleusten Fehlern | Braucht Sprachkenntnis, und die Trefferquote ist messbar |
| Medizinische, rechtliche oder finanzielle Inhalte | Mensch | Ein Fehler hat echte Folgen für jemanden |
| Stichprobe der Urteile des Richters | Mensch | Nur so sieht man, ob der Richter abdriftet |
Wie schreibt man die Anweisungen für den Richter?
Jeder Richter bekommt eine enge Frage mit ausformulierten Kriterien. Der Leitfaden von Anthropic rät, jede Dimension von einem eigenen Richter bewerten zu lassen und dem Modell einen Ausweg zu geben, etwa die Antwort „Unbekannt“, wenn Informationen fehlen. Wir ergänzen drei Gewohnheiten:
- Verlangen Sie die genaue Zeile und den Grund, damit ein Mensch das Urteil in Sekunden prüfen kann.
- Geben Sie dem Richter den ganzen Text. In einem unserer Abläufe lehnte ein Richter gute Übersetzungen ab, weil unser eigener Code die Eingabe bei 3.000 Zeichen abschnitt.
- Lesen Sie selbst eine Stichprobe der Urteile. Derselbe Leitfaden erinnert daran: Ohne Protokolle und Bewertungen zu lesen, weiß man nicht, ob die Prüfer funktionieren.
Wann ist LLM as a judge das falsche Werkzeug?
Es ist das falsche Werkzeug, wenn sich eine Regel als Code schreiben lässt, wenn ein Fehler jemandem schaden würde und niemand das Ergebnis liest, oder wenn die Menge klein genug ist, um alles selbst zu lesen. Ein Richter kostet außerdem Geld und Zeit pro Eintrag, ein paar Dutzend Dokumente im Monat rechtfertigen ihn selten. Sind die Daten vertraulich, sieht der Richter sie ebenfalls, und ein lokales Modell kann der bessere Ort für ihn sein.
Wie nutzt Castel Studio KI-Richter?
Wir bauen Prüfer nach denselben Regeln in KI-Agenten ein: Code für exakte Prüfungen, ein Richter aus einem anderen Modell für offene Kriterien, ein Test mit eingeschleusten Fehlern und ein Fehlschlag, wenn eine Prüfung nicht laufen kann. Wenn Sie noch überlegen, was Ihr Agent tun soll, beginnen Sie mit unseren sieben Fragen zu KI-Agenten. Zum Aufbau solcher Systeme lesen Sie Agenten und Skills in Claude Code. Eine erste Arbeit beginnt ab 150 €.
Schreiben Sie uns, was Ihr KI-System erzeugt und wer es heute liest. Wir antworten schriftlich innerhalb von 48 Stunden.
Fragen
Was bedeutet LLM as a judge?
Ein Sprachmodell bewertet das Ergebnis eines anderen Systems nach schriftlichen Kriterien: mit einer Note, einem Urteil bestanden oder nicht bestanden oder einer Wahl zwischen zwei Antworten. Es ersetzt einen Teil der menschlichen Prüfung, nicht die Verantwortung für das Ergebnis.
Wie zuverlässig ist ein KI-Richter?
In der MT-Bench-Studie von 2023 stimmten starke Richter wie GPT-4 in über 80 % der Fälle mit menschlichen Präferenzen überein, etwa so oft wie Menschen untereinander. Das gilt für Chatbot-Antworten. Für Ihre Aufgabe muss die Zuverlässigkeit gemessen werden, zum Beispiel mit eingeschleusten Fehlern.
Kann ein Modell seine eigenen Texte beurteilen?
Es kann, aber die Forschung fand eine Vorliebe für das Eigene: Ein Modell kann seinen eigenen Text höher bewerten als Texte, die Menschen für gleichwertig halten. Sicherer ist ein Richter aus einer anderen Modellfamilie.
Was kostet ein Richter für einen KI-Agenten?
Bei Castel Studio beginnt eine erste Arbeit an einem Agentensystem (eine einseitige Übersicht, getestete Regeln, gesperrte vertrauliche Dateien) ab 150 €. Die Anbindung an Ihre Werkzeuge wird schriftlich angeboten. Modellkosten und Wartung kommen hinzu.