Совместный фреймворк MIT и Sakana AI использует LLM-судью для снижения затрат на оценку самоулучшающихся кодирующих агентов. Работа нацелена на этап оценки в цикле улучшения, а не на этап генерации, на который обычно уходит большая часть усилий при проектировании агентов.
Это различие важно для команд, запускающих итеративные циклы агентов. В цикле самоулучшения агент-кандидат выполняет работу, эта работа оценивается, и оценка определяет следующую ревизию. Оценка — это шаг, который повторяется для каждого кандидата, поэтому её стоимость задаёт потолок того, сколько циклов команда может выполнить. Замена прежнего метода оценки на более дешёвую LLM-судью меняет экономику этого цикла, а не качество отдельного кандидата. В предоставленном материале не указано, какая модель-судья использовалась, каким был предыдущий метод оценки, насколько велико снижение затрат и какие бенчмарки для ко
Для студий, создающих агентные системы, практический вопрос в том, достаточно ли точен оценщик на основе судьи, чтобы доверять ему как сигналу для обучения или отбора, поскольку дешёвая судья с ошибочными оценками будет оптимизировать цикл в неверном направлении. Фреймворк является результатом исследования, и в материале не указаны ни продакшн-инструменты, ни лицензия, ни дата релиза.