Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Управление на уровне runtime побеждает управление промптами: разбор дискуссии о Nvidia Sentry и kill-switch
Контроли на уровне промптов носят рекомендательный характер, потому что живут внутри вероятностной системы. Перехват на уровне runtime находится там, где действия становятся конкретными, и именно там должна быть власть.
Контейнмент на основе политик: что может и чего не может решать OS-энфорсер
Контейнмент на уровне хоста обеспечивает соблюдение границ ресурсов и файловой системы, но не может судить, была ли авторизована операция агента. Разделяйте слои принуждения и авторизации.
Модели принятия решений — не политики-движки: что 2B-роутер может и не может обеспечивать
Дешёвые модели принятия решений, такие как Strands Decider и Clef, — это примитивы маршрутизации, а не поверхности управления. Рассмотрение быстрого классификатора как точки принуждения не устраняет режим отказа, а перемещает его.
Намерение — недостающий сигнал в телеметрии безопасности агентов
Стеки безопасности логируют, что делают агенты, а не то, что они намереваются сделать. Превращение заявленного намерения в подписанный, доступный для запросов артефакт закрывает этот пробел.
Песочница для агента — это вопрос возможностей, а не контейнеров
Изоляция — это меньше про технологию изоляции и больше про перечисление, ограничение и отзыв возможностей, которыми обладает агент на каждом шаге выполнения.
Журналы намерений: недостающий артефакт между политикой и запуском агента
Списки разрешений показывают, что агент может делать, но не то, был ли шаг оправдан. Журналы намерений фиксируют контекст решения на каждом шаге во время выполнения.
Побег из песочницы — это проблема бюджета возможностей
Сбои изоляции в агентных системах — это неверно оценённые предоставленные возможности, а не отсутствующие джейлбрейки. Поверхность контроля — это бюджет на достижимые системы для каждого запуска.
Идентичность без намерения: почему выдача учётных данных агентам их не ограничивает
Аутентификация агента и ограничение области действия его токена не определяют, что он делает в последовательности вызовов инструментов. Политика на уровне намерения, оцениваемая для каждой траектории, — это контроль, который закрывает разрыв композиции.
Доказуемый контроль: перенос управления из дашбордов в принудительно соблюдаемые инварианты
Наблюдаемость фиксирует, что сделал агент. Управление требует ограничений, которые делают определённые действия невозможными независимо от того, что решит модель.