Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агентная коммерция — это проблема грамматики делегирования, а не витрины
Walmart и Amazon спорят не о ботах. Они дают разные ответы на вопрос о том, как мандат покупателя выражается, ограничивается и подтверждается при оформлении заказа.
Модели принятия решений сжимают политику, которую вы уже написали; они её не пишут
Малые модели принятия решений — это оптимизация задержки и стоимости поверх уже существующей поверхности политик. Рассматривать их как место, где политика определяется, — категориальная ошибка с последствиями для ревью, композиции и безопасности.
Судья — это компонент: версионирование пайплайнов LLM-as-Judge как любой другой зависимости
LLM-as-judge заслуживает доверия только тогда, когда модель-судья, промпт, рубрика и параметры декодирования зафиксированы и покрыты регрессионными тестами как полноценный артефакт.
Durable Execution — это реальное инфраструктурное требование для долгоживущих агентов
Инвестиции и продукты вокруг durable execution указывают на настоящую сложную проблему в инфраструктуре агентов: детерминированный реплей и идемпотентные эффекты для запусков, которые длятся часами и порождают внешние побочные эффекты.
Отказ — это решение о маршрутизации, а не свойство модели
Превышение полномочий агентом — это обычно отсутствующее решение об авторизации выше по потоку от модели. Безопасность должна быть в пути запроса, а не только в обучении выравниванию.
Роям агентов нужен контракт обнаружения, а не общая база данных
В масштабе роя сложная задача — договориться о том, как факты именуются, версионируются и выводятся из обращения. Контракт обнаружения должен предшествовать любому общему хранилищу.
Загрязнение бенчмарков — это баг пайплайна данных: версионируйте eval-наборы как код
Сбои в оценке агентов, которые списывают на слабость модели, часто оказываются провалами гигиены eval-наборов. Eval-корпуса нуждаются в том же происхождении, версионировании и контроле доступа, что и обучающие данные.
Человеческий консьерж — это резервный путь, а не функция
Маршрутизация сбоев агента к человеку работает только тогда, когда контракт эскалации явно определён: какое состояние передаётся, что оператор может изменить и как исправление возвращается агенту.
Долгосрочная обработка превращает управление контекстом в задачу планирования
Большее окно контекста не устраняет ограничение; оно превращает сборку контекста в решение о планировании: что загружать, когда и какой ценой.