Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Доказуемый контроль: перенос управления из дашбордов в принудительно соблюдаемые инварианты
Наблюдаемость фиксирует, что сделал агент. Управление требует ограничений, которые делают определённые действия невозможными независимо от того, что решит модель.
Оценка агентов по траекториям, а не по ответам: заметка о дизайне бенчмарка
Бенчмарки, оценивающие только финальные результаты, вознаграждают агентов, которые приходят к правильным ответам через небезопасные или невоспроизводимые пути. Оценка с учётом траектории это исправляет.
Паттерн chief-of-staff: когда оркестрировать агентов, а когда просто написать скрипт
Мультиагентная оркестрация окупается только тогда, когда подзадачам нужен разный контекст, разные инструменты или независимая проверка. В остальных случаях это более медленный вызов функции.
Бюджеты полномочий: недостающая поверхность управления между агентом и его инструментами
Ограничения в промпте носят рекомендательный характер. Настоящая безопасность достигается, когда каждая возможность рассматривается как расходуемый бюджет полномочий: область действия, квота, срок действия и аттестация.