Глава политического отдела Hugging Face заявил, что встроенные AI-оценщики не станут простым решением, сообщает TechCrunch. Замечание адресовано распространённому архитектурному допущению: что оценочная модель, встроенная в конвейер агента, может служить надёжным средством контроля за поведением окружающей её системы. Для команд, выстраивающих инструментарий соответствия, это допущение лежит в основе значительной части текущей практики — от встроенного скоринга до автоматической проверки вывода агента перед выпуском.
Комментарий прозвучал одновременно с отдельным вмешательством METR, призвавшим разработчиков открыть внутренние свидетельства безопасности для внешней проверки. Вместе они указывают на разрыв между самооценкой и независимой проверкой. Оценщик, разделяющий конвейер с системой, которую он оценивает, наследует её слепые зоны, а его выводы поддаются аудиту лишь в той мере, в какой команда решает опубликовать свидетельства. Ни одна из позиций, как сообщается, не исключает встроенную оценку; обе ставят вопрос, может ли она в одиночку нести вес средства контроля.
Момент примечателен. Замечания последовали за волной вендорных инструментов, подаваемых как мониторинг и проверка агентов, значительная часть которых продвигается на посылке, что судья внутри конвейера закрывает вопрос надзора. Из публикации остаётся неясным, какой альтернативе отдал бы предпочтение глава политического отдела и какую форму внешней проверки METR ожидает на практике. Пока практический вывод таков: встроенные оценщики лучше всего рассматривать как один сигнал среди нескольких, в паре со свидетельствами, которые можно изучить извне конвейера.