Исследователи Google сообщили о методе, который не даёт самоулучшающимся агентам запоминать их тестовые наборы. Работа рассматривает контаминацию бенчмарков при итеративном самоулучшении — цикле, в котором агент многократно настраивает собственное поведение против фиксированного набора для оценки.
Контаминация такого рода подрывает достоверность заявленного прироста возможностей. Когда агент оптимизируется на тех же примерах, по которым его затем оценивают, измеренное улучшение может отражать запоминание набора для оценки, а не обобщаемую способность. Заявленный результат тогда оказывается артефактом цикла, а не свидет
Для команд, выпускающих агентные системы, это переводит гигиену набора для оценки из детали исследования в первостепенную инженерную задачу. Практические следствия включают исключение данных для оценки из любого сигнала самоулучшения, ротацию или перегенерацию наборов для оценки между итерациями и рассмотрение проверок на контаминацию как части релизного гейта, а не аудита постфактум. В предоставленном материале не указано, какие бенчмарки использовались, каков масштаб экспериментов и на каком конкретном механизме основан метод; эти детали остаются неясными из доступных материалов.