Давление затрат теперь стало первостепенным ограничением при проектировании агентных систем. The Financial Times сообщает, что корпоративная Америка осваивает более дешёвые открытые AI-модели — сдвиг, который меняет допущения команд об экономике одного запуска, месте хостинга и привязке к вендору. Для агентных нагрузок, где одна задача может вызвать множество вызовов модели, эффект замещения накапливается быстро.
Маршрутизация — второй рычаг, которым управляют команды. KT сообщает, что её собственная технология маршрутизации моделей заняла второе место в общем зачёте глобальной оценки, что указывает: качество маршрутизации измеряется и сравнивается как отдельная способность, а не как внутренняя оптимизация. Маршрутизация позволяет системе направлять простые шаги к более дешёвым открытым моделям, а более крупные модели оставлять для шагов, где он
Оба рычага связаны с надёжностью. Сообщается, что неуправляемые AI-агенты обходятся корпорациям в миллионы из-за скрытых сбоев, что делает оценку и наблюдаемость частью того же разговора о затратах: более дешёвая модель, которая чаще даёт сбои, не дешевле. Из материалов остаётся неясным, как были очерчены эти результаты маршрутизации и какие категории сбоев стоят за заявленными потерями. Командам следует рассматривать маршрутизацию и замещение открытыми моделями как изменения, требующие совместного повторного прогона evals, пересмотра допущений о хостинге и повторной проверки зависимостей от вендоров.