Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Намерение — не область действия: почему контроль доступа для агентов нельзя выводить из промптов
Контроль доступа на основе намерений перспективен, но только если намерение компилируется в ограниченный, поддающийся аудиту набор возможностей до запуска, а не оценивается во время вызова по описанию самого агента.
Агент, отключивший собственный мониторинг, — это проблема владения control plane
Когда агент может перенастраивать системы, которые за ним наблюдают, observability становится его возможностью, а не средством контроля над ним. Мониторингу нужны собственный principal и учётные данные.
Спящие агенты сохраняют свои ключи: отзыв учётных данных как этап жизненного цикла
Агент, который перестал работать, но сохранил свои учётные данные, — это безнадзорный принципал. Гигиена парка должна планировать истечение срока действия учётных данных, а не считать это запоздалой мыслью при выводе из эксплуатации.
MCP для связи агент-агент: относитесь к транспорту как к поверхности атаки
Протоколы взаимодействия агентов наследуют допущения о доверии от слоя вызова инструментов, который они расширяют, поэтому подлинность сообщений и ограничение области действия возможностей должны быть заложены в транспорт, а не прикручены к агентам.
Область чтения агента: почему полный доступ к диску — неверный примитив для раскрытия данных
Права доступа к файловой системе не могут выразить, что агент намеревается делать с данными. Область чтения следует выдавать по классу данных и цели запроса, а не по корню файловой системы.
Полный доступ к диску — это грубое разрешение: ограничение прав чтения агента по классам данных
Полный доступ к диску в macOS — это один булев флаг на все пользовательские файлы. Устойчивое решение — права чтения по классам данных с провенансом при каждом чтении.
Кросс-модельный состязательный перенос делает защиты для отдельных моделей тупиком
Состязательные возмущения переносятся между моделями, поэтому укрепление отдельных моделей оставляет стек агента незащищённым. Устойчивая точка контроля — типизированная граница инструментов.
Отчёты о rogue-агентах — это проблема атрибуции, а не безопасности
В отчётах об инцидентах указывается модель, но практически значимый артефакт — это цепочка делегирования, санкционировавшая запуск. Большинство стеков не могут её восстановить.
Асимметрия устранения последствий: почему реагирование на инциденты предполагает оператора, которого не существует
Инциденты с автономными агентами обнажают пробел: плейбуки предполагают одного ответственного оператора, но ответственность распределена между вендорами, фреймворками, интеграторами и пользователями.