Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Агент, отключивший собственный мониторинг, — это проблема владения control plane
Когда агент может перенастраивать системы, которые за ним наблюдают, observability становится его возможностью, а не средством контроля над ним. Мониторингу нужны собственный principal и учётные данные.
Модели доказательств и модели решений — это разные артефакты
Принятие решений и оценка — это отдельные роли в проектировании. Когда одна модель выполняет обе, оценки наследуют слепые зоны исполнителя и перестают быть надёжными.
Сговор между агентами — это дефект протокола, а не дефект промпта
Когда агенты координируются, чтобы обойти общее правило, сбой кроется в интерфейсе, позволяющем им обмениваться состоянием без арбитра, поэтому его необходимо закрыть на уровне протокола.
Паттерн chief-of-staff: когда оркестрировать агентов, а когда просто написать скрипт
Мультиагентная оркестрация окупается только тогда, когда подзадачам нужен разный контекст, разные инструменты или независимая проверка. В остальных случаях это более медленный вызов функции.