Все статьи

LLM as a judge: как проверить ИИ-судью до запуска

Коротко. LLM as a judge значит, что одна языковая модель оценивает работу другой по записанным критериям. Опубликованные исследования показывают, что на ответах чат-ботов такой судья близок к согласию людей между собой, и они же описывают перекосы: порядок ответов, длина, предпочтение своего текста. Прежде чем полагаться на судью, проверьте его: подложите известные ошибки и посчитайте, сколько он нашёл. В одном нашем замере модель нашла 0 из 3, другая 3 из 3.

Стол корректора в маленькой типографии в Ницце: гранки с пометками и красный карандаш в утреннем свете
Проверка чего-то стоит, только если видно, что проверяющий ловит ошибки.

LLM as a judge обычно появляется там, где ИИ выдаёт больше текста, чем кто-либо успеет прочитать: переводы, ответы клиентам, сводки, результаты работы агента. Вторая модель читает результат и выносит вердикт. Эта статья для тех, кто строит или покупает такие системы и хочет понять, можно ли этому вердикту верить. Здесь собрано, что говорят исследования, какие перекосы ждать и какую проверку мы теперь проводим для каждого ИИ-проверяющего в своих конвейерах.

Что такое LLM as a judge?

LLM as a judge — это метод, при котором языковая модель оценивает результат по записанным критериям и возвращает балл, вердикт «годно или нет» либо выбор между двумя ответами. Результат может принадлежать другой модели, агенту или человеку. Метод заменяет часть человеческого чтения, поэтому можно проверять тысячи единиц.

Обычно встречаются три формы:

  • Сравнение пар: судья видит два ответа и выбирает лучший.
  • Оценка по шкале: судья ставит ответу балл по заданным критериям.
  • Вердикт «годно или нет»: судья проверяет одно точное условие, например «сохранены ли в этом переводе все даты?».

Третью форму легче всего контролировать: человек быстро видит, верен ли вердикт.

Насколько надёжен ИИ-судья?

На некоторых задачах ИИ-судья близок к согласию людей между собой, но на вашу задачу эта цифра не переносится. В исследовании, которое сделало метод известным, сильные судьи вроде GPT-4 совпали с предпочтениями людей более чем в 80% случаев, это уровень согласия людей между собой. Замер шёл на открытых вопросах к чат-ассистентам.

На других задачах картина скромнее. G-Eval, метод оценки на основе GPT-4, показал корреляцию Спирмена 0,514 с оценками людей на задаче пересказа текста. Это полезный сигнал, но до полного совпадения далеко. В руководстве Anthropic по оценке агентов судьи-модели названы гибкими и масштабируемыми, но также недетерминированными, более дорогими, чем проверки кодом, и требующими калибровки по людям.

Какие перекосы есть у ИИ-судьи?

В опубликованных работах названы четыре главные проблемы, и у каждой есть практический ответ.

  • Порядок ответов. От перестановки меняется вердикт. В одном исследовании простая смена порядка позволила Vicuna-13B обойти ChatGPT в 66 запросах из 80, когда оценщиком был сам ChatGPT. Ответ: сравнивать в обоих порядках и объединять результаты.
  • Длина. Авторы MT-Bench называют многословие среди перекосов судьи: длинный ответ может выглядеть лучше. Ответ: прямо написать в критериях, что за длину баллов нет, и проверить вердикты на коротких верных ответах.
  • Предпочтение себя. Модель может ставить своим текстам более высокий балл, чем чужим, хотя люди считают их равными. Ответ: судья не должен быть той моделью, что написала текст.
  • Слабые рассуждения. Судья может ошибиться в той же математике или логике, которую проверяет. Ответ: такие проверки отдавать коду.

Может помочь и коллегия. В исследовании Replacing Judges with Juries несколько небольших моделей из разных семейств обошли одного крупного судью на шести наборах данных, а обошлись более чем в семь раз дешевле. Это результат на проверенных наборах: повод попробовать и замерить, а не правило.

Как проверить ИИ-проверяющего подложенными ошибками?

ИИ-проверяющего проверяют так: в его настоящие входные данные кладут заранее известные ошибки и считают, сколько он нашёл. Если он их пропустил, его «замечаний нет» ничего не значит. На это уходит час-два, исследовательская команда не нужна.

  1. Возьмите настоящую партию работы, которую судья будет проверять, в настоящем формате.
  2. Подложите две-три известные ошибки того типа, которого боитесь: переставленные переводы, неверную дату, выдуманный факт.
  3. Добавьте обратную ловушку: верную, но необычную строку, которую нельзя менять. Она мерит ложные тревоги.
  4. Запустите судью в том же проходе, с боевым промптом, и не говорите ему про подложенные ошибки.
  5. Посчитайте: найденные ошибки, ложные тревоги, непрочитанные единицы.
  6. Закрепите правило в коде: одна пропущенная подложенная ошибка роняет весь проход, а непрочитанная единица считается провалом, а не чистым результатом.

Повторяйте проверку при смене модели, промпта или типа содержимого. Судья, выбранный для одной задачи, для следующей ещё ничего не доказал.

Прилавок на рынке Кур-Салея в Ницце: лимоны перебирают по ящикам, несколько плохих плодов отложены в сторону
Подложенная ошибка работает как заведомо плохой плод в ящике: пропустил его, значит, ящик не перебран.

Что эта проверка показала в наших конвейерах?

У нас ИИ-проверяющие работают в конвейерах переводов и медиа, и три случая изменили наш подход. Это небольшие замеры на конкретных задачах, общих выводов о моделях из них не следует.

Проверяющий, который ничего не нашёл. В многоязычной анкете на 341 строку мы подложили три ошибки. Одна модель нашла 0 из 3. Другая нашла 3 из 3 на каждом из четырёх проверенных языков и заодно настоящую ошибку, которую никто не видел: медицинское слово «стул» было переведено на украинский как предмет мебели. Младшие версии этой второй модели подложенное тоже находили, но на узбекском и казахском давали десятки ложных тревог. Поэтому хороший процент находок ещё не отменяет разбора ложных тревог.

Чистый отчёт, в котором ничего не прочитано. Контроль качества видео отчитался: брака 0 из 21 кадра. Сервис зрения лежал, ни один кадр не прочитан, а «не прочитано» считалось как «брака нет». Заметили глазами, в готовом ролике. С тех пор недоступный инструмент означает провал.

Проверяющий, который выдумал факты. Модель для вычитки переводов прошла испытание: 6 из 6 подложенных языковых ошибок, ни одной лишней правки. А в работе она заменила демонстрационные контакты на правдоподобные выдуманные адрес, телефон и почту. Испытание проверяло язык, но не факты. Теперь код отклоняет любую правку, которая меняет числа, почту или ссылки, а в испытании есть строка с незнакомыми контактами, которую нельзя трогать.

Что отдать коду, что судье, а что человеку?

Большинству проверок судья не нужен. Отдавайте каждую тому, кто надёжно справится за меньшие деньги.

Проверка Кто делает Почему
Числа, даты, почта и ссылки не изменились Код Ответ точный, а модель может их «улучшить»
Формат, длина, обязательные поля Код Бесплатно, повторяемо, результат всегда один
Тон, ясность, ответ на заданный вопрос Судья Критерии открытые, для человека слишком большой объём
Смысл сохранён между двумя языками Судья с подложенными ошибками Нужно знание языка, а долю находок можно замерить
Медицина, право, финансы Человек Ошибка имеет настоящие последствия для кого-то
Выборка вердиктов судьи Человек Только так видно, что судья поплыл

Как написать инструкцию для судьи?

Один судья получает один узкий вопрос с прописанными критериями. Руководство Anthropic советует оценивать каждое измерение отдельным судьёй и оставлять модели выход, например ответ «неизвестно», когда данных не хватает. Мы добавляем три привычки:

  • Просите точную строку и причину, чтобы человек проверил вердикт за секунды.
  • Давайте судье весь текст. В одном нашем конвейере судья браковал хорошие переводы, потому что наш же код обрезал вход на 3000 знаках.
  • Читайте выборку вердиктов сами. То же руководство напоминает: не прочитав записи прогонов и оценки, нельзя понять, работают ли судьи.

Когда LLM as a judge не подходит?

Он не подходит, когда правило можно записать кодом, когда ошибка навредит человеку, а результат никто не читает, и когда объём настолько мал, что человек прочитает всё сам. Судья добавляет стоимость и время на каждую единицу, поэтому несколько десятков документов в месяц его редко оправдывают. Если данные конфиденциальные, судья их тоже видит, и лучше запускать его на локальной модели.

Как Castel Studio использует ИИ-судей?

Мы встраиваем проверяющих в ИИ-агентов по тем же правилам: код для точных проверок, судья из другой модели для открытых критериев, проверка подложенными ошибками и провал, если проверка не смогла выполниться. Если вы ещё решаете, что должен делать агент, начните с наших семи вопросов про ИИ-агентов. Про устройство таких систем читайте в статье об агентах и навыках в Claude Code. Первая работа стоит от 150 €.

Напишите, что выдаёт ваша ИИ-система и кто читает это сегодня. Ответим письменно за 48 часов.

Вопросы

Что такое LLM as a judge?

Это способ, при котором одна языковая модель оценивает результат другой системы по записанным критериям: ставит балл, выносит вердикт «годно или нет» либо выбирает лучший из двух ответов. Модель заменяет часть человеческой проверки, но не ответственность за результат.

Насколько надёжен ИИ-судья?

В исследовании MT-Bench 2023 года сильные судьи вроде GPT-4 совпадали с предпочтениями людей более чем в 80% случаев, примерно как люди между собой. Это результат для ответов чат-ботов. На вашей задаче надёжность нужно мерить, например подложенными ошибками.

Может ли модель судить собственный текст?

Может, но исследования нашли предпочтение к себе: модель способна ставить своему тексту более высокий балл, чем текстам, которые люди считают равными по качеству. Надёжнее взять судью из другого семейства моделей.

Сколько стоит добавить судью к ИИ-агенту?

В Castel Studio первая работа с системой агентов (карта на одну страницу, проверенные правила, закрытые конфиденциальные файлы) стоит от 150 €. Подключение к вашим инструментам считается по письменной смете. Оплата моделей и сопровождение идут отдельно.

Контакты

Этот ящик читает один человек — тот же, кто делает то, что вы заказываете.

Опишите задачу

Напишите, что у вас есть и какой результат нужен, — даже если это одна небольшая задача. Техзадание не нужно: в течение 48 часов пришлём план и цену письменно, уточняющий вопрос или честно скажем, что задача не наша.

Укажите ситуацию, файлы или ссылки, срок, язык, границы приватности и бюджет, если он есть.

Файл (по желанию)
Файл не выбран

Бриф, фотография, таблица — то, что объяснит задачу быстрее слов. До 8 МБ, хранится у нашего хостинг-провайдера. Пожалуйста, не отправляйте через сайт чувствительные личные или медицинские документы.

Отправка заявки не создаёт заказ и не требует оплаты. Отвечаем в течение 48 часов. Удобнее email? contact@castel.studio

Поговорить с нами

Удобнее голосом или в мессенджере? Пишите и звоните — отвечает основатель студии.

Связаться в LinkedIn

Телефон · WhatsApp · Telegram

Франция+33 7 49 57 41 69WhatsAppTelegram

Украина+38 063 95 77 111WhatsAppTelegram

Удобнее через площадку?

Ту же работу можно заказать там — с безопасной оплатой площадки.

Соло-студия ИИ-систем в Ницце. Кто отвечает на ваше сообщение, тот и делает работу — без менеджеров-посредников. Файлы обрабатываются на нашей машине, а не в чужом облаке.

Ницца 06100, Франция · Открыть на карте →

SIREN 103 115 705

Опишите задачу