Аргумент подстановки
Оценка генеративных систем в больших объёмах обходится дорого, когда каждый образец требует внимания человека. Распространённый ответ — подстановка: пропустить основную массу выходных данных через меньший, более дешёвый классификатор, а человеческую проверку оставить для остатка. Аргумент прост. Если рубрика узкая, а пространство меток невелико, компактная модель может аппроксимировать суждение большей модели за долю стоимости.
Аргумент часто верен. Бинарное решение, такое как содержит ли этот ответ ссылку, которая разрешается в реальный источник, — это ограниченная задача. Маленькая модель с точным промптом справится с ней достаточно надёжно для агрегированной отчётности. Экономия реальна, но лишь при одном условии: ошибка судьи должна измеряться, а не предполагаться. Пайплайн, который сообщает оценку без сообщения о точности производящего её инструмента, не сообщает доказательство. Он сообщает число, которое просто оказалось вычислимым.
Режим отказа коварен, потому что судья редко отказывает громко. Он отказывает в сторону поверхностной правдоподобности. Беглый, хорошо структурированный, уверенно сформулированный вывод с большей вероятностью будет оценён как правильный, чем лаконичный, который на самом деле правилен. Это не баг какой-то конкретной модели; это свойство обучения на данных о человеческих предпочтениях, где беглость коррелирует с одобрением.
Что судья на самом деле измеряет
Прежде чем калибровать судью, полезно явно определить, что он собой замещает. В большинстве пайплайнов судья измеряет не качество в абстракции. Он измеряет согласие с рубрикой, а рубрика — это сжатие с потерями того, что команда на самом деле имеет в виду. Отсюда следуют два режима отказа.
Во-первых, рубрика может быть недоопределена так, что судья разрешает неоднозначности произвольно. Если рубрика гласит ответ должен быть обоснован предоставленным контекстом, судья должен решить, что считается обоснованием: перефразировка, прямая цитата, маркер ссылки или утверждение, которое просто не противоречит контексту. Разные судьи разрешают это по-разному, и один и тот же судья может разрешать это по-разному от запуска к запуску.
Во-вторых, судья может измерять коррелят целевого показателя. Длина, форматирование, осторожные формулировки и наличие перечисленных шагов — всё это коррелирует с человеческим одобрением во многих наборах данных. Судья, усвоивший эти корреляты, оценит хорошо отформатированный неправильный ответ выше правильного, написанного просто. Это центральная проблема измерения, и именно поэтому состязательные образцы важнее образцов среднего случая.
Метод калибровки
Практический метод непритязателен. Отложите размеченный людьми срез оценочного набора, стратифицированный по измерениям рубрики, и сообщайте согласие судьи по каждому измерению, а не единым агрегатом. Агрегированное согласие скрывает случай, когда судья превосходен в фактическом обосновании и почти случаен в тоне.
Отчётность по измерениям имеет второе преимущество: она делает слепые зоны судьи читаемыми для людей, потребляющих оценки. Если судья соглашается с людьми в 90 процентах фактических утверждений, но в 60 процентах суждений о полноте, нижестоящие читатели знают, каким числам доверять.
Дрейф при изменении генератора
Судья, откалиброванный против одного генератора, не становится автоматически откалиброванным против следующего. Когда модель-генератор обновляется, распределение её выходных данных смещается: другая формулировка, другое поведение отказов, другие режимы отказа. Судья, настроенный в прошлом квартале, может быть рассогласован сейчас, и рассогласование не объявит о себе. Оценки продолжат появляться, и они продолжат выглядеть разумными.
Механизм защиты от этого — фиксированный калибровочный набор, который переоценивается всякий раз, когда меняется генератор. Калибровочный набор не следует регенерировать; его следует заморозить, чтобы изменения в согласии судьи отражали изменения в судье или генераторе, а не изменения в тесте. Переоценка замороженного набора дёшева. Пропуск её — это то, как пайплайн незаметно теряет валидность измерения.
Состязательные образцы
Самые полезные калибровочные образцы — те, где поверхностная беглость и правильность расходятся. Конструируйте их намеренно:
- Беглый, хорошо структурированный ответ, который фактически неверен.
- Лаконичный, плохо отформатированный ответ, который правилен.
- Ответ, который правилен, но противоречит правдоподобному априорному убеждению.
- Ответ, который ссылается на несуществующий источник.
- Ответ, который правилен в выводе, но ошибочен в рассуждении.
Судья, который оценивает первый выше второго, усвоил стиль, а не правильность. Это не причина отбросить судью; это причина сообщить его точность именно на этом срезе. Судья с известными слабостями — это пригодный инструмент. Судья с неизвестными слабостями — источник ложной уверенности.
Есть и дополнительная состязательная проблема. Когда генератор и судья разделяют линию обучения, они могут разделять систематические смещения. Судья, взятый из того же семейства, что и генератор, с большей вероятностью найдёт выходные данные генератора приемлемыми — не потому, что они правильны, а потому, что они знакомы. Где возможно, судью следует брать из другого семейства, чем генератор, а
Честный компромисс
Ничто из этого не говорит против пайплайнов с моделью-судьёй. Альтернатива — человеческая проверка каждого образца — не масштабируется до объёмов, которых требует современная оценка, и аргумент подстановки обоснован, когда рубрика узкая. Компромисс — между охватом и валидностью. Дешёвый судья покупает охват: больше образцов, больше запусков, более частое измерение. Он стоит валидности, и эта цена видна только тогда, когда её измеряют.
Компромисс неоднороден по измерениям рубрики. Для узких, проверяемых измерений, таких как соблюдение формата или разрешение ссылок, маленький судья может быть почти полноценной заменой. Для измерений, требующих суждения о качестве рассуждения или полноте, подстановка слабее, и человеческий срез должен быть больше. Отношение к судье как к равномерно надёжному по всем измерениям — самый распространённый способ неверно оценить этот компромисс.
Связанный компромисс касается задержки и стоимости самой калибровки. Переоценка замороженного калибровочного набора при каждом изменении генератора добавляет шаг в процесс релиза. Шаг дёшев относительно стоимости выпуска метрики, которая больше не измеряет то, что заявляет, но это шаг, и его пропустят под давлением сроков, если он не является частью определения готовности.
Правило отчётности
Публикуйте точность судьи вместе с метрикой, которую он производит. Оценка без точности её инструмента — не доказательство. На практике это означает, что каждое сообщаемое число оценки несёт три вещи: метрику, согласие судьи с людьми по соответствующему измерению и дату последней калибровки.
Это правило неудобно, потому что делает отчёты об оценке длиннее и менее цитируемыми. Одно число легче распространить, чем число с прикреплённым квалификатором уверенности. Но альтернатива — метрика, которая дрейфует незаметно и которой доверяют долго после того, как она перестала что-либо значить.
Правило также меняет то, как определяется объём оценки. Если измерение не может быть откалибровано против человеческих меток при разумной стоимости, это информация. Это может означать, что измерение пока не измеримо с требуемой гранулярностью, и честный ответ — сказать об этом, а не сообщать неквалифицированную оценку.
Инструментовка, а не украшение
Судья — это измерительный инструмент. Инструменты требуют калибровки, мониторинга дрейфа и состязательного тестирования, и они требуют, чтобы их ошибка сообщалась вместе с их выходными данными. Аргумент подстановки для маленьких судей обоснован, но это аргумент о стоимости, а не о валидности. Валидность нужно зарабатывать отдельно, по каждому измерению, по каждой версии генератора, и зарабатывать заново всякий раз, когда меняется любое из них.
Команды, которые относятся к судье как к инфраструктуре, а не как к короткому пути, получают выгоду охвата без ложной уверенности. Команды, которые относятся к нему как к короткому пути, получают числа, которые выглядят как доказательства и ими не являются. Разница не в модели. Она в том, измерил ли кто-нибудь инструмент.