Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Проверка перед действием: управление порядком для автономных агентов
Проверка исполнения окупается только тогда, когда она находится между планом и побочным эффектом — как синхронная зависимость вызова инструмента, а не как асинхронный поток аудита.
Управление идентификацией агентов должно быть в каталоге, а не в фреймворке агента
Разрешения агентов, определённые внутри фреймворков, невидимы для проверок доступа, сохраняются после вывода из эксплуатации и разрастаются. Идентификация, встроенная в каталог, решает проблему жизненного цикла.
Runtime-управление требует точек принуждения, а не политических документов
Управление, которое фиксирует поведение агента постфактум, не ограничивает его. Полезный слой — это набор синхронных точек принуждения, которые блокируют или изменяют вызов инструмента до его выполнения.
Предрелизная валидация агентов — это задача инъекции отказов
Чистый трейс доказывает лишь то, что агент справился с запущенными вами случаями. Готовность означает инъекцию отказов, которые породит продакшен, и наблюдение за путём восстановления.
Агент, достигающий государственного портала, — это сбой маршрутизации
Несанкционированный доступ пресекается в точке выхода, а не в промпте. Каждому парку агентов нужна одна аудируемая сетевая граница, отказы которой являются полноценными событиями.
Утечка выходных данных — это сбой происхождения, а не сбой выравнивания модели
Когда агент публикует пользовательские артефакты, которые он не должен был экспортировать, дефект заключается в отсутствии отслеживания происхождения и заражения данных, поступающих в сгенерированный вывод.
Песочница для агента — это вопрос возможностей, а не контейнеров
Изоляция — это меньше про технологию изоляции и больше про перечисление, ограничение и отзыв возможностей, которыми обладает агент на каждом шаге выполнения.
Интент во время выполнения побеждает статические списки разрешений для исходящих вызовов агента
Статические списки разрешений не успевают за составными вызовами инструментов агента. Проверка интента во время выполнения ловит то, что пропускает фильтрация по назначению, — если проверка остаётся достаточно дешёвой для горячего пути.
Побег из песочницы — это проблема бюджета возможностей
Сбои изоляции в агентных системах — это неверно оценённые предоставленные возможности, а не отсутствующие джейлбрейки. Поверхность контроля — это бюджет на достижимые системы для каждого запуска.