В отчёте утверждается, что оценки ИИ могут выглядеть непредвзятыми, не будучи справедливыми. Для команд, выпускающих агентов, это различие операционное, а не академическое: если набор оценок несёт структурное смещение, которое не проявляется как дисперсия, приёмочные тесты будут проходить, тогда как развёрнутая система будет неверно ранжировать пользователей. Это проблема контракта измерения, а не проблема качества модели, и она находится выше по потоку от большинства решений о выпуске.
Сопутствующие исследования указывают в том же направлении. В одном исследовании рассматривается обнаружение галлюцинаций LLM в условиях ограниченных ресурсов в многозадачных сценариях; в другом анализируются сигнатуры финального расхождения парных ответов как способ охарактеризовать уязвимость к джейлбрейку. Оба рассматривают оценку как инструмент, который нужно валидировать, а не как табло, которому можно доверять. Обзор LLM-агентов прослеживает переход от одиночных tool call к оркестрации нескольких инструментов, что расширяет поверхность, которую должен покрывать приёмочный набор: маршрутизация, выбор инструментов и многошаговое состояние становятся тестируемыми поведениями.
Что остаётся неясным из предоставленных материалов — это охват и метод: конкретные режимы отказа, о которых говорится в отчёте, наборы данных, лежащие в основе работы по галлюцинациям и джейлбрейкам, и предлагает ли что-либо из этого конкретные процедуры аудита. Практический вывод для инженерии агентов — рассматривать проектирование оценок как контракт: определить, что означает справедливость для задачи, тестировать сами тесты и сохранять проверки расхождения и маршрутизации наряду с точностью.
Источники: отчёт, обнаружение галлюцинаций, расхождение при джейлбрейке.