Усі статті

LLM as a judge: як перевірити ШІ-суддю до запуску

Коротко. LLM as a judge означає, що одна мовна модель оцінює роботу іншої за записаними критеріями. Опубліковані дослідження показують, що на відповідях чат-ботів такий суддя близький до згоди людей між собою, і вони ж описують упередження: порядок відповідей, довжина, перевага власного тексту. Перш ніж покладатися на суддю, перевірте його: підкладіть відомі помилки й порахуйте, скільки він знайшов. В одному нашому замірі модель знайшла 0 із 3, інша 3 із 3.

Стіл коректора в маленькій друкарні в Ніцці: гранки з позначками й червоний олівець у ранковому світлі
Перевірка чогось варта, лише якщо видно, що перевіряльник ловить помилки.

LLM as a judge зазвичай з’являється там, де ШІ видає більше тексту, ніж хтось устигне прочитати: переклади, відповіді клієнтам, зведення, результати роботи агента. Друга модель читає результат і виносить вердикт. Ця стаття для тих, хто будує або купує такі системи й хоче зрозуміти, чи можна цьому вердикту вірити. Тут зібрано, що кажуть дослідження, яких упереджень чекати і яку перевірку ми тепер проводимо для кожного ШІ-перевіряльника у своїх конвеєрах.

Що таке LLM as a judge?

LLM as a judge — це метод, за якого мовна модель оцінює результат за записаними критеріями й повертає бал, вердикт «придатно чи ні» або вибір між двома відповідями. Результат може належати іншій моделі, агентові чи людині. Метод замінює частину людського читання, тому можна перевіряти тисячі одиниць.

Зазвичай трапляються три форми:

  • Порівняння пар: суддя бачить дві відповіді й обирає кращу.
  • Оцінка за шкалою: суддя ставить відповіді бал за заданими критеріями.
  • Вердикт «придатно чи ні»: суддя перевіряє одну точну умову, наприклад «чи збережено в цьому перекладі всі дати?».

Третю форму найлегше контролювати: людина швидко бачить, чи вердикт правильний.

Наскільки надійний ШІ-суддя?

На деяких завданнях ШІ-суддя близький до згоди людей між собою, але на ваше завдання ця цифра не переноситься. У дослідженні, яке зробило метод відомим, сильні судді на кшталт GPT-4 збіглися з уподобаннями людей більш ніж у 80% випадків, це рівень згоди людей між собою. Замір ішов на відкритих запитаннях до чат-асистентів.

На інших завданнях картина скромніша. G-Eval, метод оцінки на основі GPT-4, показав кореляцію Спірмена 0,514 з оцінками людей на завданні переказу тексту. Це корисний сигнал, але до повного збігу далеко. У посібнику Anthropic з оцінки агентів судді-моделі названі гнучкими й масштабованими, але також недетермінованими, дорожчими за перевірки кодом і такими, що потребують калібрування за людьми.

Які упередження має ШІ-суддя?

В опублікованих роботах названо чотири головні проблеми, і кожна має практичну відповідь.

  • Порядок відповідей. Від перестановки змінюється вердикт. В одному дослідженні проста зміна порядку дала змогу Vicuna-13B обійти ChatGPT у 66 запитах із 80, коли оцінювачем був сам ChatGPT. Відповідь: порівнювати в обох порядках і об’єднувати результати.
  • Довжина. Автори MT-Bench називають багатослівність серед упереджень судді: довга відповідь може виглядати кращою. Відповідь: прямо написати в критеріях, що за довжину балів немає, і перевірити вердикти на коротких правильних відповідях.
  • Перевага себе. Модель може ставити своїм текстам вищий бал, ніж чужим, хоча люди вважають їх рівними. Відповідь: суддя не має бути тією моделлю, що написала текст.
  • Слабкі міркування. Суддя може помилитися в тій самій математиці чи логіці, яку перевіряє. Відповідь: такі перевірки віддавати кодові.

Може допомогти й колегія. У дослідженні Replacing Judges with Juries кілька невеликих моделей із різних родин обійшли одного великого суддю на шести наборах даних і коштували більш ніж усемеро дешевше. Це результат на перевірених наборах: привід спробувати й заміряти, а не правило.

Як перевірити ШІ-перевіряльника підкладеними помилками?

ШІ-перевіряльника перевіряють так: у його справжні вхідні дані кладуть заздалегідь відомі помилки й рахують, скільки він знайшов. Якщо він їх пропустив, його «зауважень немає» нічого не означає. На це йде година-дві, дослідницька команда не потрібна.

  1. Візьміть справжню партію роботи, яку суддя перевірятиме, у справжньому форматі.
  2. Підкладіть дві-три відомі помилки того типу, якого боїтеся: переставлені переклади, неправильну дату, вигаданий факт.
  3. Додайте зворотну пастку: правильний, але незвичний рядок, який не можна змінювати. Він міряє хибні тривоги.
  4. Запустіть суддю в тому самому проході, з бойовим промптом, і не кажіть йому про підкладені помилки.
  5. Порахуйте: знайдені помилки, хибні тривоги, непрочитані одиниці.
  6. Закріпіть правило в коді: одна пропущена підкладена помилка валить увесь прохід, а непрочитана одиниця вважається провалом, а не чистим результатом.

Повторюйте перевірку при зміні моделі, промпта або типу вмісту. Суддя, обраний для одного завдання, для наступного ще нічого не довів.

Прилавок на ринку Кур-Салея в Ніцці: лимони перебирають по ящиках, кілька поганих плодів відкладено вбік
Підкладена помилка працює як завідомо поганий плід у ящику: пропустив його, отже, ящик не перебрано.

Що ця перевірка показала в наших конвеєрах?

У нас ШІ-перевіряльники працюють у конвеєрах перекладів і медіа, і три випадки змінили наш підхід. Це невеликі заміри на конкретних завданнях, загальних висновків про моделі з них не випливає.

Перевіряльник, який нічого не знайшов. У багатомовній анкеті на 341 рядок ми підклали три помилки. Одна модель знайшла 0 із 3. Інша знайшла 3 із 3 кожною з чотирьох перевірених мов і заразом справжню помилку, якої ніхто не бачив: медичне російське слово «стул» (випорожнення) було перекладено українською як «стілець», предмет меблів. Молодші версії цієї другої моделі підкладене теж знаходили, але узбецькою й казахською давали десятки хибних тривог. Тому хороший відсоток знахідок ще не скасовує розбору хибних тривог.

Чистий звіт, у якому нічого не прочитано. Контроль якості відео відзвітував: браку 0 із 21 кадру. Сервіс зору лежав, жоден кадр не прочитано, а «не прочитано» вважалося як «браку немає». Помітили очима, у готовому ролику. Відтоді недоступний інструмент означає провал.

Перевіряльник, який вигадав факти. Модель для вичитування перекладів пройшла випробування: 6 із 6 підкладених мовних помилок, жодної зайвої правки. А в роботі вона замінила демонстраційні контакти на правдоподібні вигадані адресу, телефон і пошту. Випробування перевіряло мову, але не факти. Тепер код відхиляє будь-яку правку, що змінює числа, пошту чи посилання, а у випробуванні є рядок із незнайомими контактами, якого не можна чіпати.

Що віддати кодові, що судді, а що людині?

Більшості перевірок суддя не потрібен. Віддавайте кожну тому, хто надійно впорається за менші гроші.

Перевірка Хто робить Чому
Числа, дати, пошта й посилання не змінилися Код Відповідь точна, а модель може їх «покращити»
Формат, довжина, обов’язкові поля Код Безкоштовно, повторювано, результат завжди один
Тон, ясність, відповідь на поставлене запитання Суддя Критерії відкриті, для людини завеликий обсяг
Зміст збережено між двома мовами Суддя з підкладеними помилками Потрібне знання мови, а частку знахідок можна заміряти
Медицина, право, фінанси Людина Помилка має справжні наслідки для когось
Вибірка вердиктів судді Людина Лише так видно, що суддя почав збиватися

Як написати інструкцію для судді?

Один суддя отримує одне вузьке запитання з прописаними критеріями. Посібник Anthropic радить оцінювати кожен вимір окремим суддею і залишати моделі вихід, наприклад відповідь «невідомо», коли даних бракує. Ми додаємо три звички:

  • Просіть точний рядок і причину, щоб людина перевірила вердикт за секунди.
  • Давайте судді весь текст. В одному нашому конвеєрі суддя бракував хороші переклади, бо наш же код обрізав вхід на 3000 знаках.
  • Читайте вибірку вердиктів самі. Той самий посібник нагадує: не прочитавши записів прогонів і оцінок, не можна зрозуміти, чи працюють судді.

Коли LLM as a judge не підходить?

Він не підходить, коли правило можна записати кодом, коли помилка зашкодить людині, а результат ніхто не читає, і коли обсяг настільки малий, що людина прочитає все сама. Суддя додає вартість і час на кожну одиницю, тому кілька десятків документів на місяць його рідко виправдовують. Якщо дані конфіденційні, суддя їх теж бачить, і краще запускати його на локальній моделі.

Як Castel Studio використовує ШІ-суддів?

Ми вбудовуємо перевіряльників у ШІ-агентів за тими самими правилами: код для точних перевірок, суддя з іншої моделі для відкритих критеріїв, перевірка підкладеними помилками й провал, якщо перевірка не змогла виконатися. Якщо ви ще вирішуєте, що має робити агент, почніть із наших семи запитань про ШІ-агентів. Про будову таких систем читайте у статті про агентів і навички в Claude Code. Перша робота коштує від 150 €.

Напишіть, що видає ваша ШІ-система і хто читає це сьогодні. Відповімо письмово за 48 годин.

Запитання

Що таке LLM as a judge?

Це спосіб, за якого одна мовна модель оцінює результат іншої системи за записаними критеріями: ставить бал, виносить вердикт «придатно чи ні» або обирає кращу з двох відповідей. Модель замінює частину людської перевірки, але не відповідальність за результат.

Наскільки надійний ШІ-суддя?

У дослідженні MT-Bench 2023 року сильні судді на кшталт GPT-4 збігалися з уподобаннями людей більш ніж у 80% випадків, приблизно як люди між собою. Це результат для відповідей чат-ботів. На вашому завданні надійність треба міряти, наприклад підкладеними помилками.

Чи може модель судити власний текст?

Може, але дослідження знайшли упередженість на свою користь: модель здатна ставити своєму тексту вищий бал, ніж текстам, які люди вважають рівними за якістю. Надійніше взяти суддю з іншої родини моделей.

Скільки коштує додати суддю до ШІ-агента?

У Castel Studio перша робота із системою агентів (мапа на одну сторінку, перевірені правила, закриті конфіденційні файли) коштує від 150 €. Підключення до ваших інструментів рахується за письмовим кошторисом. Оплата моделей і супровід ідуть окремо.

Контакти

Цю скриньку читає одна людина — та сама, що робить те, що ви замовляєте.

Опишіть завдання

Напишіть, що у вас є і який результат потрібен, — навіть якщо це одне невелике завдання. Техзавдання не потрібне: протягом 48 годин надішлемо план і ціну письмово, уточнювальне запитання або чесно скажемо, що завдання не наше.

Вкажіть ситуацію, файли або посилання, строк, мову, межі приватності і бюджет, якщо він є.

Файл (за бажанням)
Файл не вибрано

Бриф, фотографія, таблиця — те, що пояснить завдання швидше за слова. До 8 МБ, зберігається у нашого хостинг-провайдера. Будь ласка, не надсилайте через сайт чутливі особисті чи медичні документи.

Надсилання заявки не створює замовлення і не вимагає оплати. Відповідаємо протягом 48 годин. Зручніше email? contact@castel.studio

Поговорити з нами

Зручніше голосом чи в месенджері? Пишіть і дзвоніть — відповідає засновник студії.

Зв'язатися в LinkedIn

Телефон · WhatsApp · Telegram

Франція+33 7 49 57 41 69WhatsAppTelegram

Україна+38 063 95 77 111WhatsAppTelegram

Зручніше через платформу?

Ту саму роботу можна замовити там — з безпечною оплатою платформи.

Соло-студія ШІ-систем у Ніцці. Хто відповідає на ваше повідомлення, той і робить роботу — без менеджерів-посередників. Файли обробляються на нашій машині, а не в чужій хмарі.

Ніцца 06100, Франція · Відкрити на карті →

SIREN 103 115 705

Опишіть завдання