Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Флоты агентов как инструменты обнаружения: проблема оценки, стоящая за Patch the Planet
Флоты агентов меняют вопрос оценки: вместо точности на агента — выход на вычислительный час при заданном бюджете ложноположительных срабатываний. Большинство бенчмарков агентов этого не измеряют.
Трассировка недетерминизма: что Concordance и DeepEval раскрывают об оценке агентов
Непоследовательные решения агента — обычно проблема недостающих входных данных. Оценка должна записывать и воспроизводить полный контекст решения, а не оценивать выходы постфактум.
Eval-наборы устаревают: версионируйте харнесс, а не только модель
Самоулучшающиеся агенты, запоминающие свои тесты, выявляют дефект пайплайна: eval-наборы — это артефакты данных с теми же обязательствами жизненного цикла, что и код.
Бенчмарки в порядке; проблема в обвязке, которую вы не версионировали
Оценка в лидерборде — это совместный результат модели, схем инструментов, политики повторных попыток и ограничений среды выполнения. Публикуйте обвязку, иначе число ничего не значит.
Разрыв в использовании в 8,3 раза — это проблема соответствия рабочему процессу, а не лицензирования
Широкое развёртывание при узком использовании указывает на агентов, привязанных к рабочим процессам, для которых они никогда не проектировались. Решение — декомпозиция рабочего процесса до выбора модели.
Оценка агентов как воспроизведение инцидентов: построение регрессионного корпуса из продакшн-трейсов
Наборы оценки агентов должны расти из захваченных продакшн-траекторий и воспроизведений инцидентов, а не создаваться из воображаемых задач, потому что важные сбои обнаруживаются, а не проектируются.
Что на самом деле ломается при масштабировании роя LLM-агентов
Мультиагентные системы отказывают не столько из-за возможностей модели, сколько из-за механики координации. Взгляд на общее состояние, протоколы передачи и компромиссы параллелизма.
Допрос модели — это метод ревью, а не черта характера
Относиться к выводу агента как к утверждению, которое нужно допросить, а не как к результату, который нужно принять, — это воспроизводимая практика оценки, которую команды могут институционализировать.
Загрязнение бенчмарков — это баг пайплайна данных: версионируйте eval-наборы как код
Сбои в оценке агентов, которые списывают на слабость модели, часто оказываются провалами гигиены eval-наборов. Eval-корпуса нуждаются в том же происхождении, версионировании и контроле доступа, что и обучающие данные.