Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Бенчмарки в порядке; проблема в обвязке, которую вы не версионировали
Оценка в лидерборде — это совместный результат модели, схем инструментов, политики повторных попыток и ограничений среды выполнения. Публикуйте обвязку, иначе число ничего не значит.
Сломанный бенчмарк: почему eval-харнессы нуждаются в собственных регрессионных тестах
Прогон бенчмарка на 27 моделях выявил, что источником ошибки был харнесс, а не модели. Eval-код — это продакшен-софт: версионируйте его, запускайте канареечные тесты и проверяйте на известных ответах.
Агентам-соучёным нужен реестр утверждений, а не журнал чата
Разговорные транскрипты не являются научной записью. Исследовательские агенты должны выдавать структурированные, проверяемые утверждения со ссылками на доказательства и явной уверенностью.
Оценка агентов по траекториям, а не по ответам: заметка о дизайне бенчмарка
Бенчмарки, оценивающие только финальные результаты, вознаграждают агентов, которые приходят к правильным ответам через небезопасные или невоспроизводимые пути. Оценка с учётом траектории это исправляет.