Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
LLM-судья — это версионируемая зависимость: как снизить затраты на пайплайны оценки, не потеряв сопоставимость
Более дешёвый LLM-судья оправдан только в том случае, если он версионируется, фиксируется и проходит регрессионное тестирование, как любая другая зависимость; иначе экономия оплачивается потерей сопоставимости между запусками.
Судья — это компонент: версионирование пайплайнов LLM-as-Judge как любой другой зависимости
LLM-as-judge заслуживает доверия только тогда, когда модель-судья, промпт, рубрика и параметры декодирования зафиксированы и покрыты регрессионными тестами как полноценный артефакт.
Оценка агентов как воспроизведение инцидентов: построение регрессионного корпуса из продакшн-трейсов
Наборы оценки агентов должны расти из захваченных продакшн-траекторий и воспроизведений инцидентов, а не создаваться из воображаемых задач, потому что важные сбои обнаруживаются, а не проектируются.
Маршрутизация моделей — это задача оценки прежде, чем задача оптимизации
Маршрутизация между моделями окупается только тогда, когда роутер оценивается по результатам на уровне задач на фиксированном наборе eval, а не только по стоимости за токен.
Сломанный бенчмарк: почему eval-харнессы нуждаются в собственных регрессионных тестах
Прогон бенчмарка на 27 моделях выявил, что источником ошибки был харнесс, а не модели. Eval-код — это продакшен-софт: версионируйте его, запускайте канареечные тесты и проверяйте на известных ответах.
Таксономия отказов агентов: как назвать способы, которыми ломаются многошаговые системы
Общий словарь для режимов отказа агентов превращает разбор инцидентов из анекдота в исчисляемые сигналы, пригодные для регрессионного тестирования, на уровнях модели, инструментов, оркестрации и данных.