Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агентам не нужно больше автономии — им нужны более узкие поверхности инструментов
Большинство случаев выхода агента за рамки начинается с интерфейса инструментов, а не с модели. Сужение поверхности, которую вызывает агент, даёт больший эффект, чем оборачивание её в guardrails.
Бюджеты исходящего трафика агента: скорость — не то же самое, что охват
Лимиты скорости ограничивают, как быстро действует агент, но не куда. Контроль исходящего трафика должен быть бюджетом назначений и возможностей, применяемым на прокси и сверяемым после каждого запуска.
Оценка риска агента — это сигнал времени выполнения, а не оценка вендора
Статические карточки оценки агентов устаревают в тот момент, когда вызывается инструмент. Полезный артефакт — это сигнал риска, полученный из самого запуска.
Маршрутизация моделей — это задача оценки прежде, чем задача оптимизации
Маршрутизация между моделями окупается только тогда, когда роутер оценивается по результатам на уровне задач на фиксированном наборе eval, а не только по стоимости за токен.
Легаси-системы — это проблема возможностей агента, а не проблема цели
Агенты не делают легаси-инфраструктуру уязвимой; они делают неявные допущения о доверии исполняемыми на машинной скорости. Решение — ограничение возможностей на границе.
Устаревшие системы — это проблема усиления агентов
Агенты не изобретают новые уязвимости в устаревших системах; они повышают пропускную способность эксплуатации. Решение — ограничения по скорости и области на границе агента, а не переписывание.
Допрос модели — это метод ревью, а не черта характера
Относиться к выводу агента как к утверждению, которое нужно допросить, а не как к результату, который нужно принять, — это воспроизводимая практика оценки, которую команды могут институционализировать.
Намерение — недостающий сигнал в телеметрии безопасности агентов
Стеки безопасности логируют, что делают агенты, а не то, что они намереваются сделать. Превращение заявленного намерения в подписанный, доступный для запросов артефакт закрывает этот пробел.
Отказ — это решение о маршрутизации, а не свойство модели
Превышение полномочий агентом — это обычно отсутствующее решение об авторизации выше по потоку от модели. Безопасность должна быть в пути запроса, а не только в обучении выравниванию.