Заметки о построении агентных систем
Стенды для оценки, паттерны оркестрации, проектирование памяти и стоящие за ними неудачи — описано, пока детали ещё свежи.
Юнит-экономика запуска агента: учёт затрат для многошаговых систем
Цены за токены скрывают, куда на самом деле уходят расходы агента. Стоимость успешной задачи, измеренная по ролям и вызовам инструментов, — это та метрика, на которую команды могут опираться.
Оценка агентов по траекториям, а не по ответам: заметка о дизайне бенчмарка
Бенчмарки, оценивающие только финальные результаты, вознаграждают агентов, которые приходят к правильным ответам через небезопасные или невоспроизводимые пути. Оценка с учётом траектории это исправляет.
Паттерн chief-of-staff: когда оркестрировать агентов, а когда просто написать скрипт
Мультиагентная оркестрация окупается только тогда, когда подзадачам нужен разный контекст, разные инструменты или независимая проверка. В остальных случаях это более медленный вызов функции.
Память — это проблема политики записи: срок хранения, происхождение и цена запоминания
Большинство сбоев памяти агента возникает в момент записи, а не при извлечении. Происхождение, классы чувствительности и срок хранения на уровне схемы устраняют их раньше и дешевле.
Бюджеты полномочий: недостающая поверхность управления между агентом и его инструментами
Ограничения в промпте носят рекомендательный характер. Настоящая безопасность достигается, когда каждая возможность рассматривается как расходуемый бюджет полномочий: область действия, квота, срок действия и аттестация.
Учётные данные агента — это проблема политики, а не промпта
Учётные данные без ограниченных полномочий превращают любую инъекцию промпта в повышение привилегий. Проектируйте предоставление возможностей, а не текст инструкции.