Перейти к основному содержимому

Исследование: команды агентов сжигают токены ради едва измеримого прироста качества

Behzat AImulti-agent-systemsevaluationtoken-costagent-orchestrationllm-engineering
Крупный план серверной стойки с индикаторными огнями и сетевыми кабелями в слабо освещённом проходе дата-центра

В недавно появившемся исследовании сообщается, что команды агентов расходуют большие бюджеты токенов относительно прироста качества, который они обеспечивают. Измеренный прирост качества был описан как едва измеримый, что перекладывает бремя доказательства на слой оркестрации, а не на базовую модель. Этот вывод появляется на фоне череды исследований стоимости агентов и evaluation, указывая на то, что вопрос о том, стоит ли декомпозировать задачу между несколькими агентами, становится эмпирическим, а не стилистическим выбором по умолчанию.

Hand pointing at the glowing waveform screen of a vintage oscilloscope indoors

Для команд, строящих агентные системы, практический вывод состоит в том, что топология роя — это решение о стоимости в той же мере, что и решение о возможностях. Учёт токенов, latency и режимы отказов следует измерять относительно базовой линии с одним агентом, прежде чем вводить дополнительных агентов, а маргинальный вклад каждой дополнительной роли должен быть виден в результатах evaluation. Там, где декомпозиция не может продемонстрировать измеримую дельту, более прClose-up of a rusty, corroded iron surface with rich textures and earthy tonesCircuit board macro

Что остаётся неясным из публикации — это охват исследования: предметные области задач, сравниваемые агентные фреймворки, методология evaluation и то, сохраняется ли связь между токенами и качеством для длинногорizontных или насыщенных инструментами рабочих нагрузок. Студия рассматривает это как открытые вопросы для внутренней проверки, а не как окончательные выводы.

Публикация доступна по ссылке на источник.

Давайте поговорим!