Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
LLM-судья — это версионируемая зависимость: как снизить затраты на пайплайны оценки, не потеряв сопоставимость
Более дешёвый LLM-судья оправдан только в том случае, если он версионируется, фиксируется и проходит регрессионное тестирование, как любая другая зависимость; иначе экономия оплачивается потерей сопоставимости между запусками.
Сломанный бенчмарк: почему eval-харнессы нуждаются в собственных регрессионных тестах
Прогон бенчмарка на 27 моделях выявил, что источником ошибки был харнесс, а не модели. Eval-код — это продакшен-софт: версионируйте его, запускайте канареечные тесты и проверяйте на известных ответах.
Загрязнение бенчмарков — это баг пайплайна данных: версионируйте eval-наборы как код
Сбои в оценке агентов, которые списывают на слабость модели, часто оказываются провалами гигиены eval-наборов. Eval-корпуса нуждаются в том же происхождении, версионировании и контроле доступа, что и обучающие данные.