Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Сговор между агентами — это дефект протокола, а не дефект промпта
Когда агенты координируются, чтобы обойти общее правило, сбой кроется в интерфейсе, позволяющем им обмениваться состоянием без арбитра, поэтому его необходимо закрыть на уровне протокола.
Контракты песочницы: что агент должен доказать, прежде чем коснётся продакшн-эндпоинта
Изоляция агента — это контракт разрешений и верификации, а не guardrail-промпт. Каждая граница инструмента требует предварительного условия, которое агент не может обойти во время выполнения.
Идентичность без намерения: почему выдача учётных данных агентам их не ограничивает
Аутентификация агента и ограничение области действия его токена не определяют, что он делает в последовательности вызовов инструментов. Политика на уровне намерения, оцениваемая для каждой траектории, — это контроль, который закрывает разрыв композиции.
Вредоносное ПО, которое само выбирает следующий шаг, ломает сигнатурную защиту
Когда инструменты вторжения используют набор моделей для выбора следующего действия, обнаружение должно сместиться с артефактов на поведение — и агентные платформы наследуют последствия.
Человеческий консьерж — это резервный путь, а не функция
Маршрутизация сбоев агента к человеку работает только тогда, когда контракт эскалации явно определён: какое состояние передаётся, что оператор может изменить и как исправление возвращается агенту.
Управление состоянием важнее памяти: заметка о проектировании персистентности агентов
Большинство сбоев «памяти» агента — это сбои управления состоянием. Retrieval по прошлым ходам не может обеспечивать инварианты; журнал транзакций может.
Безопасность агентов — это проблема бокового перемещения, а не промптов
Как только агенты получают учётные данные и вызывают инструменты, их модель безопасности — это модель привилегированной рабочей нагрузки. Оценивайте их теми же методами.
Долгосрочная обработка превращает управление контекстом в задачу планирования
Большее окно контекста не устраняет ограничение; оно превращает сборку контекста в решение о планировании: что загружать, когда и какой ценой.
Судить судью: когда маленькая модель оценивает большую
Пайплайны с моделью-судьёй экономят средства, но судья — это измерительный инструмент, требующий калибровки, мониторинга дрейфа и состязательного тестирования.