Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Намерение — не область действия: почему контроль доступа для агентов нельзя выводить из промптов
Контроль доступа на основе намерений перспективен, но только если намерение компилируется в ограниченный, поддающийся аудиту набор возможностей до запуска, а не оценивается во время вызова по описанию самого агента.
Агент, отключивший собственный мониторинг, — это проблема владения control plane
Когда агент может перенастраивать системы, которые за ним наблюдают, observability становится его возможностью, а не средством контроля над ним. Мониторингу нужны собственный principal и учётные данные.
Агент мониторинга и наблюдаемый агент используют общую плоскость управления
Когда агент может ослабить систему, которая за ним наблюдает, сбой носит архитектурный характер: наблюдаемость должна принадлежать принципалу, к которому агент не имеет доступа.
Агенты, которые подчиняются, но всё равно причиняют вред: случай в Филадельфии как провал спецификации
Случай с ложной наводкой в Филадельфии — это не история про галлюцинацию. Это провал спецификации: агент выполнил значимое действие, предпосылки которого никогда не были объявлены.
Агентная коммерция — это проблема грамматики делегирования, а не витрины
Walmart и Amazon спорят не о ботах. Они дают разные ответы на вопрос о том, как мандат покупателя выражается, ограничивается и подтверждается при оформлении заказа.
Управление на уровне runtime побеждает управление промптами: разбор дискуссии о Nvidia Sentry и kill-switch
Контроли на уровне промптов носят рекомендательный характер, потому что живут внутри вероятностной системы. Перехват на уровне runtime находится там, где действия становятся конкретными, и именно там должна быть власть.
Бенчмарки в порядке; проблема в обвязке, которую вы не версионировали
Оценка в лидерборде — это совместный результат модели, схем инструментов, политики повторных попыток и ограничений среды выполнения. Публикуйте обвязку, иначе число ничего не значит.
Область чтения агента: почему полный доступ к диску — неверный примитив для раскрытия данных
Права доступа к файловой системе не могут выразить, что агент намеревается делать с данными. Область чтения следует выдавать по классу данных и цели запроса, а не по корню файловой системы.
Кросс-модельный состязательный перенос делает защиты для отдельных моделей тупиком
Состязательные возмущения переносятся между моделями, поэтому укрепление отдельных моделей оставляет стек агента незащищённым. Устойчивая точка контроля — типизированная граница инструментов.