Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агенты, которые подчиняются, но всё равно причиняют вред: случай в Филадельфии как провал спецификации
Случай с ложной наводкой в Филадельфии — это не история про галлюцинацию. Это провал спецификации: агент выполнил значимое действие, предпосылки которого никогда не были объявлены.
Управление на уровне runtime побеждает управление промптами: разбор дискуссии о Nvidia Sentry и kill-switch
Контроли на уровне промптов носят рекомендательный характер, потому что живут внутри вероятностной системы. Перехват на уровне runtime находится там, где действия становятся конкретными, и именно там должна быть власть.
OpenShell лечит симптом: безопасности агентов нужны контракты, а не аварийные выключатели
Изоляция во время выполнения может остановить сбойного агента, но без заранее объявленного контракта разрешённых действий это ограничение ущерба, а не предотвращение.
Изоляция — это не поверхность управления: чтение OpenShell от Nvidia против течения
Песочницы останавливают побеги; они не определяют, что агенту было разрешено попытаться сделать. Безопасность агентов требует слоя полномочий над средой выполнения, а не более быстрого выключателя.
Агентам не нужно больше автономии — им нужны более узкие поверхности инструментов
Большинство случаев выхода агента за рамки начинается с интерфейса инструментов, а не с модели. Сужение поверхности, которую вызывает агент, даёт больший эффект, чем оборачивание её в guardrails.
Отказ — это решение о маршрутизации, а не свойство модели
Превышение полномочий агентом — это обычно отсутствующее решение об авторизации выше по потоку от модели. Безопасность должна быть в пути запроса, а не только в обучении выравниванию.
Побег из песочницы — это проблема бюджета возможностей
Сбои изоляции в агентных системах — это неверно оценённые предоставленные возможности, а не отсутствующие джейлбрейки. Поверхность контроля — это бюджет на достижимые системы для каждого запуска.
Контракты песочницы: что агент должен доказать, прежде чем коснётся продакшн-эндпоинта
Изоляция агента — это контракт разрешений и верификации, а не guardrail-промпт. Каждая граница инструмента требует предварительного условия, которое агент не может обойти во время выполнения.
Кодирующим агентам нужен контракт песочницы, а не предупреждающая наклейка
Радиус поражения автономного кодирующего агента определяется его песочницей и правилами сетевого egress. Определите этот контракт до того, как определите агента.