Генеральный директор Amazon Энди Джасси заявил, что стоимость инференса ИИ должна снизиться примерно на 90%, прежде чем агентные системы получат широкое распространение на предприятиях, сообщает KuCoin. Это утверждение переформулирует вопрос о внедрении: если удельная стоимость инференса является ограничивающим фактором, то архитектура агентов, выбор модели и маршрутизация запросов — это решения о затратах прежде, чем решения о возможностях.
Дженсен Хуанг из Nvidia, на которого ссылается Yahoo Finance, заявил, что агентные нагрузки резко увеличили спрос на токены и GPU. Оба сигнала указывают в одном направлении. Агентные паттерны многократно увеличивают число вызовов на задачу за счёт циклов планирования, использования инструментов, retrieval и повторных попыток, поэтому цена за токен накапливается быстрее, чем при однократном промптинге. Дешёвая маршрутизация туда, где достаточно меньшей модели, кэширование стабильного контекста и ограничение глубины циклов становятся инженерными рычагами с прямым влиянием на бюджет.
RSM US сообщает о высокой удовлетворённости ИИ в среднем сегменте рынка наряду с ограниченным внедрением в масштабах предприятия, что говорит о том, что разрыв связан не с энтузиазмом, а с экономикой развёртывания и охватом. Из предоставленных материалов остаётся неясным, относительно какой базовой величины измеряются 90%, каков временной горизонт и охватывает ли эта цифра serving, оркестрацию или и то и другое. Для команд, которые проектируют агентные системы уже сейчас, практический вывод состоит в том, чтобы измерять стоимость каждой успешной задачи наряду с качеством и latency, и рассматривать политику маршрутизации как полноценный артефакт проектирования, а не как запоздалую мысль.