Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Аудит-логи для агентов — это задача журнала упреждающей записи, а не дашборда
Подотчётность агента доказуема только тогда, когда каждый вызов инструмента, использование учётных данных и переход состояния добавляются в журнал до их выполнения, что делает журнал runtime-зависимостью.
Идентичность без намерения: почему выдача учётных данных агентам их не ограничивает
Аутентификация агента и ограничение области действия его токена не определяют, что он делает в последовательности вызовов инструментов. Политика на уровне намерения, оцениваемая для каждой траектории, — это контроль, который закрывает разрыв композиции.
Вредоносное ПО, которое само выбирает следующий шаг, ломает сигнатурную защиту
Когда инструменты вторжения используют набор моделей для выбора следующего действия, обнаружение должно сместиться с артефактов на поведение — и агентные платформы наследуют последствия.
Безопасность агентов — это проблема бокового перемещения, а не промптов
Как только агенты получают учётные данные и вызывают инструменты, их модель безопасности — это модель привилегированной рабочей нагрузки. Оценивайте их теми же методами.
Манипуляция между агентами — это проблема протокола
Когда один агент может изменить план другого непроверенным утверждением, изъян кроется в протоколе, а не в модели. Теги происхождения, независимая проверка и лимиты на повторные утверждения сдерживают это.
Учётные данные агента — это проблема политики, а не промпта
Учётные данные без ограниченных полномочий превращают любую инъекцию промпта в повышение привилегий. Проектируйте предоставление возможностей, а не текст инструкции.