Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
LLM-судья — это версионируемая зависимость: как снизить затраты на пайплайны оценки, не потеряв сопоставимость
Более дешёвый LLM-судья оправдан только в том случае, если он версионируется, фиксируется и проходит регрессионное тестирование, как любая другая зависимость; иначе экономия оплачивается потерей сопоставимости между запусками.
Модели доказательств и модели решений — это разные артефакты
Принятие решений и оценка — это отдельные роли в проектировании. Когда одна модель выполняет обе, оценки наследуют слепые зоны исполнителя и перестают быть надёжными.
Инструментирование декомпозиции: почему стоимость траектории агента — это метрика планировщика
Стоимость запуска сообщается как общее число токенов, но доминирующая переменная — то, как планировщик декомпозировал задачу. Учёт по узлам плана превращает бюджетирование во входные данные для планирования.
Поверхности инструментов — это задача проектирования интерфейса, а не задача обёртки
Неправильное использование инструментов агентом обычно начинается с интерфейса: человеческие API, обёрнутые в JSON, скрывают частичный сбой и лишены терминальной семантики ошибок. Проектирование поверхностей, ориентированных на машину, исправляет это.
Маршрутизация моделей — это задача оценки прежде, чем задача оптимизации
Маршрутизация между моделями окупается только тогда, когда роутер оценивается по результатам на уровне задач на фиксированном наборе eval, а не только по стоимости за токен.
Человеческий консьерж — это бюджет задержки, а не уровень безопасности
Эскалация к человеческому консьержу — это решение о пропускной способности и задержке. Моделируйте её как задачу теории массового обслуживания, а не как функцию доверия, прикрученную постфактум.
Манипуляция между агентами — это проблема протокола
Когда один агент может изменить план другого непроверенным утверждением, изъян кроется в протоколе, а не в модели. Теги происхождения, независимая проверка и лимиты на повторные утверждения сдерживают это.
Экономика открытых весов: что меняется, когда инференс — это статья расходов, которой вы владеете
Падение стоимости за токен смещает узкое место агента с выбора модели на качество оркестрации и утилизацию оборудования.