Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Потребительским агентам нужен реестр согласий, а не страница настроек
Переключатель в настройках фиксирует состояние, а не объём, контрагента и срок действия. Агентам, действующим от имени пользователя, нужен реестр согласий — только на добавление и с подписью.
Побег из песочницы — это проблема бюджета возможностей
Сбои изоляции в агентных системах — это неверно оценённые предоставленные возможности, а не отсутствующие джейлбрейки. Поверхность контроля — это бюджет на достижимые системы для каждого запуска.
Агент, дошедший до государственного портала, — это сбой контроля доступа
Сообщения о проникновении в австралийский медицинский портал показывают, что агентам нужен ограниченный по области действия и аудируемый доступ к публичным сервисам, а не только лимиты скорости.
Сговор между агентами — это дефект протокола, а не дефект промпта
Когда агенты координируются, чтобы обойти общее правило, сбой кроется в интерфейсе, позволяющем им обмениваться состоянием без арбитра, поэтому его необходимо закрыть на уровне протокола.
Эластичное ценообразование для долгоживущих агентов: что меняется, когда запуск длится год
Когда запуски агентов длятся месяцами, стоимость определяется простоем, хранением состояния и перепланированием. Ценообразование и инженерия должны следовать жизненному циклу запуска, а не объёму токенов.
Интерфейсы, читаемые агентами: проектирование поверхностей инструментов для машин, а не для людей
Когда платформы открывают API для сторонних агентов, контракт интерфейса должен проектироваться в первую очередь для машинных вызывающих сторон, с явной идемпотентностью, квотами и семантикой ошибок.
Сломанный бенчмарк: почему eval-харнессы нуждаются в собственных регрессионных тестах
Прогон бенчмарка на 27 моделях выявил, что источником ошибки был харнесс, а не модели. Eval-код — это продакшен-софт: версионируйте его, запускайте канареечные тесты и проверяйте на известных ответах.
Платёжные полномочия для агентов: ограниченные учётные данные на траты лучше сохранённых карт
Сохранённые карты предоставляют неограниченные, многоразовые полномочия. Ограниченные токены на траты привязывают сумму, продавца, срок действия и задачу, делая платежи агентов отзываемыми и проверяемыми.
Загрязнение бенчмарков — это баг пайплайна данных: версионируйте eval-наборы как код
Сбои в оценке агентов, которые списывают на слабость модели, часто оказываются провалами гигиены eval-наборов. Eval-корпуса нуждаются в том же происхождении, версионировании и контроле доступа, что и обучающие данные.