Tous les articles

LLM as a judge : tester le juge avant de s'y fier

En bref. LLM as a judge signifie qu’un modèle de langage évalue le travail d’un autre selon des critères écrits. Les études publiées montrent qu’il peut approcher le niveau d’accord entre humains sur des réponses de chatbots, et elles documentent aussi des biais de position, de longueur et de préférence pour soi. Avant de vous y fier, testez-le : glissez des erreurs connues et comptez celles qu’il repère. Dans un de nos tests, un modèle en a trouvé 0 sur 3, un autre 3 sur 3.

Table de relecture d'une petite imprimerie à Nice, avec des épreuves annotées et un crayon rouge dans la lumière du matin
Une relecture ne vaut que si l'on sait montrer que le relecteur repère les erreurs.

LLM as a judge est la réponse habituelle quand un système d’IA produit plus de texte que personne ne peut en lire : traductions, réponses au support, résumés, résultats d’un agent. Un second modèle lit le résultat et rend un verdict. Ce guide s’adresse à celles et ceux qui construisent ou achètent ces systèmes et doivent savoir si ce verdict mérite confiance. Il présente ce que dit la recherche, les biais à prévoir et le test que nous passons désormais à chaque relecteur IA de nos propres chaînes.

Qu’est-ce que LLM as a judge ?

LLM as a judge est une méthode où un modèle de langage évalue un résultat selon des critères écrits et rend une note, un verdict conforme ou non, ou une préférence entre deux réponses. Le résultat peut venir d’un autre modèle, d’un agent ou d’une personne. La méthode remplace une partie de la lecture humaine, ce qui permet de contrôler des milliers d’éléments.

Trois formes sont courantes :

  • La comparaison par paires : le juge voit deux réponses et choisit la meilleure.
  • La notation : le juge attribue une note à une réponse selon une grille.
  • Le verdict conforme ou non : le juge vérifie une condition précise, par exemple « cette traduction garde-t-elle toutes les dates ? ».

La troisième forme est la plus facile à contrôler, car une personne voit vite si le verdict était juste.

Un juge LLM est-il fiable ?

Un juge LLM peut approcher le niveau d’accord entre humains sur certaines tâches, mais ce chiffre ne se transpose pas à la vôtre. Dans l’étude qui a popularisé la méthode, des juges puissants comme GPT-4 dépassent 80 % d’accord avec les préférences humaines, soit le niveau d’accord entre humains. La mesure portait sur des questions ouvertes posées à des assistants conversationnels.

D’autres tâches donnent une image moins confortable. G-Eval, une méthode de notation fondée sur GPT-4, annonce une corrélation de Spearman de 0,514 avec les notes humaines sur le résumé de texte. C’est un signal utile, et c’est loin d’une correspondance parfaite. Le guide d’Anthropic sur l’évaluation des agents décrit les juges par modèle comme souples et capables de monter en volume, mais aussi non déterministes, plus chers que les contrôles par code et à calibrer sur des évaluateurs humains.

Quels sont les biais d’un juge LLM ?

Les études publiées nomment quatre problèmes principaux, et chacun a une réponse pratique.

  • Le biais de position. L’ordre des réponses change le verdict. Dans une étude, le simple changement d’ordre a permis à Vicuna-13B de battre ChatGPT sur 66 requêtes sur 80, avec ChatGPT comme évaluateur. Réponse : comparer dans les deux ordres et combiner les résultats.
  • Le biais de longueur. Les auteurs de MT-Bench citent la verbosité parmi les biais du juge : une réponse plus longue peut paraître meilleure. Réponse : écrire dans la grille que la longueur ne rapporte rien, et vérifier les verdicts sur des réponses courtes et justes.
  • La préférence pour soi. Un modèle peut mieux noter ses propres textes que ceux des autres alors que des annotateurs humains les jugent équivalents. Réponse : le juge ne doit pas être le modèle qui a écrit le texte.
  • Un raisonnement limité. Un juge peut échouer sur le calcul ou la logique qu’il doit contrôler. Réponse : confier ces contrôles au code.

Un jury peut aussi aider. Dans l’étude Replacing Judges with Juries, plusieurs petits modèles de familles différentes font mieux qu’un seul grand juge sur six jeux de données, pour un coût plus de sept fois inférieur. Ce résultat vaut pour les jeux testés : c’est une raison d’essayer un jury et de le mesurer, pas une règle.

Comment tester un relecteur IA avec des erreurs glissées ?

On teste un relecteur IA en plaçant dans son entrée réelle des erreurs déjà connues, puis en comptant celles qu’il signale. S’il les manque, son « aucun problème » ne vaut rien. Cela prend une à deux heures et ne demande aucune équipe de recherche.

  1. Prenez un vrai lot du travail que le juge contrôlera, dans le vrai format.
  2. Glissez deux ou trois erreurs connues du type que vous craignez : traductions interverties, date fausse, fait inventé.
  3. Ajoutez un piège inverse : une ligne juste mais inhabituelle, qui ne doit pas être modifiée. Il mesure les fausses alertes.
  4. Lancez le juge dans le même passage, avec le prompt de production, sans lui dire que des erreurs ont été glissées.
  5. Comptez : erreurs trouvées, fausses alertes, éléments illisibles.
  6. Inscrivez la règle dans le code : une erreur glissée manquée fait échouer tout le passage, et un élément illisible compte comme un échec, jamais comme un résultat propre.

Refaites le test quand vous changez de modèle, de prompt ou de type de contenu. Un juge retenu pour une tâche n’a rien prouvé pour la suivante.

Étal du cours Saleya à Nice avec des cagettes de citrons en cours de tri et quelques fruits abîmés mis de côté
Une erreur glissée fonctionne comme un fruit abîmé connu dans la cagette : si le trieur le manque, la cagette n'est pas triée.

Qu’a montré ce test dans nos propres chaînes ?

Nous faisons tourner des relecteurs IA sur des chaînes de traduction et de médias, et trois cas ont changé notre façon de travailler. Ce sont de petits tests sur des tâches précises : ils ne disent rien de général sur un modèle.

Un relecteur qui ne trouve rien. Sur un questionnaire multilingue de 341 lignes, nous avons glissé trois erreurs. Un modèle en a trouvé 0 sur 3. Un autre en a trouvé 3 sur 3 dans chacune des quatre langues testées, et il a aussi repéré une vraie erreur que personne n’avait vue : le mot médical pour les selles traduit par le meuble, le tabouret. Les versions plus petites de ce second modèle trouvaient aussi les erreurs glissées, mais levaient des dizaines de fausses alertes en ouzbek et en kazakh. Un bon score de détection demande donc encore un regard sur les fausses alertes.

Un rapport propre sans rien lu. Un contrôle qualité vidéo a annoncé 0 défaut sur 21 images. Le service de vision était en panne, aucune image n’avait été lue, et « non lu » valait « pas de défaut ». Nous l’avons découvert à l’œil, dans une vidéo terminée. Depuis, un outil indisponible vaut un échec.

Un relecteur qui invente des faits. Un modèle chargé de relire des traductions avait réussi son test : 6 erreurs de langue glissées sur 6, aucune correction inutile. En production, il a ensuite remplacé des coordonnées de démonstration par une adresse, un téléphone et un e-mail inventés et plausibles. Le test couvrait la langue, pas les faits. Désormais, le code rejette toute correction qui change des chiffres, des e-mails ou des liens, et le test comprend une ligne avec des coordonnées inconnues à laisser intactes.

Que confier au code, au juge et à une personne ?

La plupart des contrôles n’ont pas besoin de juge. Confiez chacun à ce qui le fait de façon fiable pour le moindre coût.

Contrôle Qui s’en charge Pourquoi
Chiffres, dates, e-mails et liens inchangés Code La réponse est exacte, et un modèle peut vouloir les « améliorer »
Format, longueur, champs obligatoires Code Gratuit, reproductible, même résultat à chaque fois
Ton, clarté, réponse à la question posée Juge Critères ouverts, trop de volume pour une personne
Sens conservé entre deux langues Juge, avec erreurs glissées Demande une compétence de langue, et le taux de détection se mesure
Contenu médical, juridique ou financier Personne Une erreur a de vraies conséquences pour quelqu’un
Échantillon des verdicts du juge Personne C’est ainsi qu’on voit si le juge dérive

Comment écrire les consignes du juge ?

Écrivez une seule question étroite par juge, avec des critères explicites. Le guide d’Anthropic conseille de noter chaque dimension avec un juge isolé et de laisser au modèle une porte de sortie, par exemple répondre « Inconnu » quand l’information manque. Nous ajoutons trois habitudes :

  • Demandez la ligne exacte et la raison, pour qu’une personne vérifie le verdict en quelques secondes.
  • Donnez au juge le texte entier. Dans une de nos chaînes, un juge rejetait de bonnes traductions parce que notre propre code coupait l’entrée à 3 000 caractères.
  • Lisez vous-même un échantillon des verdicts. Le même guide rappelle qu’on ne sait pas si les évaluateurs fonctionnent sans lire les traces et les notes.

Quand LLM as a judge n’est-il pas le bon outil ?

Ce n’est pas le bon outil quand une règle peut s’écrire en code, quand une erreur nuirait à quelqu’un sans qu’aucune personne ne lise le résultat, ou quand le volume est assez faible pour tout lire. Un juge ajoute aussi du coût et du temps à chaque élément : quelques dizaines de documents par mois le justifient rarement. Si les données sont confidentielles, le juge les voit aussi, et un LLM local peut être le meilleur endroit pour le faire tourner.

Comment Castel Studio utilise-t-il les juges LLM ?

Nous intégrons des relecteurs aux agents IA avec les mêmes règles : du code pour les contrôles exacts, un juge d’un autre modèle pour les critères ouverts, un test par erreurs glissées et un échec quand un contrôle ne peut pas s’exécuter. Si vous hésitez encore sur le rôle de votre agent, commencez par nos sept questions sur les agents IA. Pour les briques techniques, voyez agents et skills dans Claude Code. Un premier travail commence à 150 €.

Dites-nous ce que produit votre système d’IA et qui le lit aujourd’hui. Nous répondons par écrit sous 48 heures.

Questions

Que veut dire LLM as a judge ?

L'expression désigne l'usage d'un modèle de langage pour évaluer le résultat d'un autre système selon des critères écrits : une note, un verdict conforme ou non, ou un choix entre deux réponses. Le modèle remplace une partie de la relecture humaine, pas la responsabilité du résultat.

Un juge LLM est-il fiable ?

Dans l'étude MT-Bench de 2023, des juges puissants comme GPT-4 s'accordaient avec les préférences humaines dans plus de 80 % des cas, soit à peu près le niveau d'accord entre humains. Ce résultat concerne des réponses de chatbots. Sur votre tâche, la fiabilité se mesure, par exemple avec des erreurs glissées.

Un modèle peut-il juger ses propres textes ?

Il le peut, mais la recherche a observé une préférence pour soi : un modèle peut mieux noter son propre texte que des textes jugés équivalents par des annotateurs humains. Un juge d'une autre famille de modèles est plus prudent.

Combien coûte l'ajout d'un juge à un agent IA ?

Chez Castel Studio, un premier travail sur un système d'agents (une carte d'une page, des règles testées, des fichiers confidentiels bloqués) commence à 150 €. La connexion à vos outils se chiffre sur devis écrit. Les frais de modèles et la maintenance sont en plus.

Contact

Une seule personne lit cette boîte — la même qui construit ce que vous commandez.

Décrivez votre besoin

Dites-nous ce que vous avez et le résultat attendu — même une seule petite tâche. Pas de cahier des charges : sous 48 heures, un plan et un prix par écrit, une question, ou un « ce n’est pas pour nous » honnête.

Ajoutez la situation, les fichiers ou liens, le délai, la langue, les limites de confidentialité et le budget si vous en avez un.

Fichier (facultatif)
Aucun fichier choisi

Un brief, une photo, un tableau — ce qui explique la tâche plus vite qu'un texte. Jusqu'à 8 Mo, stocké chez notre hébergeur. Merci de ne pas envoyer de documents personnels sensibles ou médicaux via le site.

L’envoi ne crée ni commande ni paiement. Réponse sous 48 heures. Plutôt par e-mail ? contact@castel.studio

Parlez-nous

Plutôt par téléphone ou messagerie ? Écrivez ou appelez — c'est le fondateur du studio qui répond.

Se connecter sur LinkedIn

Téléphone · WhatsApp · Telegram

France+33 7 49 57 41 69WhatsAppTelegram

Ukraine+38 063 95 77 111WhatsAppTelegram

Vous préférez une plateforme ?

Commandez le même travail sur une plateforme, avec son paiement sécurisé.

Studio d'IA à une personne, basé à Nice. Celui qui répond à votre message est celui qui fait le travail — pas d'intermédiaire commercial. Les fichiers sont traités sur notre propre machine, pas dans le cloud d'un tiers.

Nice 06100, France · Ouvrir dans les cartes →

SIREN 103 115 705

Décrivez votre besoin