LLM as a judge : tester le juge avant de s'y fier
En bref. LLM as a judge signifie qu’un modèle de langage évalue le travail d’un autre selon des critères écrits. Les études publiées montrent qu’il peut approcher le niveau d’accord entre humains sur des réponses de chatbots, et elles documentent aussi des biais de position, de longueur et de préférence pour soi. Avant de vous y fier, testez-le : glissez des erreurs connues et comptez celles qu’il repère. Dans un de nos tests, un modèle en a trouvé 0 sur 3, un autre 3 sur 3.
LLM as a judge est la réponse habituelle quand un système d’IA produit plus de texte que personne ne peut en lire : traductions, réponses au support, résumés, résultats d’un agent. Un second modèle lit le résultat et rend un verdict. Ce guide s’adresse à celles et ceux qui construisent ou achètent ces systèmes et doivent savoir si ce verdict mérite confiance. Il présente ce que dit la recherche, les biais à prévoir et le test que nous passons désormais à chaque relecteur IA de nos propres chaînes.
Qu’est-ce que LLM as a judge ?
LLM as a judge est une méthode où un modèle de langage évalue un résultat selon des critères écrits et rend une note, un verdict conforme ou non, ou une préférence entre deux réponses. Le résultat peut venir d’un autre modèle, d’un agent ou d’une personne. La méthode remplace une partie de la lecture humaine, ce qui permet de contrôler des milliers d’éléments.
Trois formes sont courantes :
- La comparaison par paires : le juge voit deux réponses et choisit la meilleure.
- La notation : le juge attribue une note à une réponse selon une grille.
- Le verdict conforme ou non : le juge vérifie une condition précise, par exemple « cette traduction garde-t-elle toutes les dates ? ».
La troisième forme est la plus facile à contrôler, car une personne voit vite si le verdict était juste.
Un juge LLM est-il fiable ?
Un juge LLM peut approcher le niveau d’accord entre humains sur certaines tâches, mais ce chiffre ne se transpose pas à la vôtre. Dans l’étude qui a popularisé la méthode, des juges puissants comme GPT-4 dépassent 80 % d’accord avec les préférences humaines, soit le niveau d’accord entre humains. La mesure portait sur des questions ouvertes posées à des assistants conversationnels.
D’autres tâches donnent une image moins confortable. G-Eval, une méthode de notation fondée sur GPT-4, annonce une corrélation de Spearman de 0,514 avec les notes humaines sur le résumé de texte. C’est un signal utile, et c’est loin d’une correspondance parfaite. Le guide d’Anthropic sur l’évaluation des agents décrit les juges par modèle comme souples et capables de monter en volume, mais aussi non déterministes, plus chers que les contrôles par code et à calibrer sur des évaluateurs humains.
Quels sont les biais d’un juge LLM ?
Les études publiées nomment quatre problèmes principaux, et chacun a une réponse pratique.
- Le biais de position. L’ordre des réponses change le verdict. Dans une étude, le simple changement d’ordre a permis à Vicuna-13B de battre ChatGPT sur 66 requêtes sur 80, avec ChatGPT comme évaluateur. Réponse : comparer dans les deux ordres et combiner les résultats.
- Le biais de longueur. Les auteurs de MT-Bench citent la verbosité parmi les biais du juge : une réponse plus longue peut paraître meilleure. Réponse : écrire dans la grille que la longueur ne rapporte rien, et vérifier les verdicts sur des réponses courtes et justes.
- La préférence pour soi. Un modèle peut mieux noter ses propres textes que ceux des autres alors que des annotateurs humains les jugent équivalents. Réponse : le juge ne doit pas être le modèle qui a écrit le texte.
- Un raisonnement limité. Un juge peut échouer sur le calcul ou la logique qu’il doit contrôler. Réponse : confier ces contrôles au code.
Un jury peut aussi aider. Dans l’étude Replacing Judges with Juries, plusieurs petits modèles de familles différentes font mieux qu’un seul grand juge sur six jeux de données, pour un coût plus de sept fois inférieur. Ce résultat vaut pour les jeux testés : c’est une raison d’essayer un jury et de le mesurer, pas une règle.
Comment tester un relecteur IA avec des erreurs glissées ?
On teste un relecteur IA en plaçant dans son entrée réelle des erreurs déjà connues, puis en comptant celles qu’il signale. S’il les manque, son « aucun problème » ne vaut rien. Cela prend une à deux heures et ne demande aucune équipe de recherche.
- Prenez un vrai lot du travail que le juge contrôlera, dans le vrai format.
- Glissez deux ou trois erreurs connues du type que vous craignez : traductions interverties, date fausse, fait inventé.
- Ajoutez un piège inverse : une ligne juste mais inhabituelle, qui ne doit pas être modifiée. Il mesure les fausses alertes.
- Lancez le juge dans le même passage, avec le prompt de production, sans lui dire que des erreurs ont été glissées.
- Comptez : erreurs trouvées, fausses alertes, éléments illisibles.
- Inscrivez la règle dans le code : une erreur glissée manquée fait échouer tout le passage, et un élément illisible compte comme un échec, jamais comme un résultat propre.
Refaites le test quand vous changez de modèle, de prompt ou de type de contenu. Un juge retenu pour une tâche n’a rien prouvé pour la suivante.
Qu’a montré ce test dans nos propres chaînes ?
Nous faisons tourner des relecteurs IA sur des chaînes de traduction et de médias, et trois cas ont changé notre façon de travailler. Ce sont de petits tests sur des tâches précises : ils ne disent rien de général sur un modèle.
Un relecteur qui ne trouve rien. Sur un questionnaire multilingue de 341 lignes, nous avons glissé trois erreurs. Un modèle en a trouvé 0 sur 3. Un autre en a trouvé 3 sur 3 dans chacune des quatre langues testées, et il a aussi repéré une vraie erreur que personne n’avait vue : le mot médical pour les selles traduit par le meuble, le tabouret. Les versions plus petites de ce second modèle trouvaient aussi les erreurs glissées, mais levaient des dizaines de fausses alertes en ouzbek et en kazakh. Un bon score de détection demande donc encore un regard sur les fausses alertes.
Un rapport propre sans rien lu. Un contrôle qualité vidéo a annoncé 0 défaut sur 21 images. Le service de vision était en panne, aucune image n’avait été lue, et « non lu » valait « pas de défaut ». Nous l’avons découvert à l’œil, dans une vidéo terminée. Depuis, un outil indisponible vaut un échec.
Un relecteur qui invente des faits. Un modèle chargé de relire des traductions avait réussi son test : 6 erreurs de langue glissées sur 6, aucune correction inutile. En production, il a ensuite remplacé des coordonnées de démonstration par une adresse, un téléphone et un e-mail inventés et plausibles. Le test couvrait la langue, pas les faits. Désormais, le code rejette toute correction qui change des chiffres, des e-mails ou des liens, et le test comprend une ligne avec des coordonnées inconnues à laisser intactes.
Que confier au code, au juge et à une personne ?
La plupart des contrôles n’ont pas besoin de juge. Confiez chacun à ce qui le fait de façon fiable pour le moindre coût.
| Contrôle | Qui s’en charge | Pourquoi |
|---|---|---|
| Chiffres, dates, e-mails et liens inchangés | Code | La réponse est exacte, et un modèle peut vouloir les « améliorer » |
| Format, longueur, champs obligatoires | Code | Gratuit, reproductible, même résultat à chaque fois |
| Ton, clarté, réponse à la question posée | Juge | Critères ouverts, trop de volume pour une personne |
| Sens conservé entre deux langues | Juge, avec erreurs glissées | Demande une compétence de langue, et le taux de détection se mesure |
| Contenu médical, juridique ou financier | Personne | Une erreur a de vraies conséquences pour quelqu’un |
| Échantillon des verdicts du juge | Personne | C’est ainsi qu’on voit si le juge dérive |
Comment écrire les consignes du juge ?
Écrivez une seule question étroite par juge, avec des critères explicites. Le guide d’Anthropic conseille de noter chaque dimension avec un juge isolé et de laisser au modèle une porte de sortie, par exemple répondre « Inconnu » quand l’information manque. Nous ajoutons trois habitudes :
- Demandez la ligne exacte et la raison, pour qu’une personne vérifie le verdict en quelques secondes.
- Donnez au juge le texte entier. Dans une de nos chaînes, un juge rejetait de bonnes traductions parce que notre propre code coupait l’entrée à 3 000 caractères.
- Lisez vous-même un échantillon des verdicts. Le même guide rappelle qu’on ne sait pas si les évaluateurs fonctionnent sans lire les traces et les notes.
Quand LLM as a judge n’est-il pas le bon outil ?
Ce n’est pas le bon outil quand une règle peut s’écrire en code, quand une erreur nuirait à quelqu’un sans qu’aucune personne ne lise le résultat, ou quand le volume est assez faible pour tout lire. Un juge ajoute aussi du coût et du temps à chaque élément : quelques dizaines de documents par mois le justifient rarement. Si les données sont confidentielles, le juge les voit aussi, et un LLM local peut être le meilleur endroit pour le faire tourner.
Comment Castel Studio utilise-t-il les juges LLM ?
Nous intégrons des relecteurs aux agents IA avec les mêmes règles : du code pour les contrôles exacts, un juge d’un autre modèle pour les critères ouverts, un test par erreurs glissées et un échec quand un contrôle ne peut pas s’exécuter. Si vous hésitez encore sur le rôle de votre agent, commencez par nos sept questions sur les agents IA. Pour les briques techniques, voyez agents et skills dans Claude Code. Un premier travail commence à 150 €.
Dites-nous ce que produit votre système d’IA et qui le lit aujourd’hui. Nous répondons par écrit sous 48 heures.
Questions
Que veut dire LLM as a judge ?
L'expression désigne l'usage d'un modèle de langage pour évaluer le résultat d'un autre système selon des critères écrits : une note, un verdict conforme ou non, ou un choix entre deux réponses. Le modèle remplace une partie de la relecture humaine, pas la responsabilité du résultat.
Un juge LLM est-il fiable ?
Dans l'étude MT-Bench de 2023, des juges puissants comme GPT-4 s'accordaient avec les préférences humaines dans plus de 80 % des cas, soit à peu près le niveau d'accord entre humains. Ce résultat concerne des réponses de chatbots. Sur votre tâche, la fiabilité se mesure, par exemple avec des erreurs glissées.
Un modèle peut-il juger ses propres textes ?
Il le peut, mais la recherche a observé une préférence pour soi : un modèle peut mieux noter son propre texte que des textes jugés équivalents par des annotateurs humains. Un juge d'une autre famille de modèles est plus prudent.
Combien coûte l'ajout d'un juge à un agent IA ?
Chez Castel Studio, un premier travail sur un système d'agents (une carte d'une page, des règles testées, des fichiers confidentiels bloqués) commence à 150 €. La connexion à vos outils se chiffre sur devis écrit. Les frais de modèles et la maintenance sont en plus.