Oracle расширил соглашения о AI-чипах с Nvidia и добавил Google и Cerebras в качестве поставщиков, расширив стек ускорителей Oracle Cloud Infrastructure за пределы одного вендора. SambaNova отдельно объявила о сотрудничестве по обеспечению высокопроизводительного inference в OCI. В сообщениях также указывается, что OpenAI оценивает AI-чипы Google, чтобы снизить зависимость от Nvidia.
Для команд, работающих с агентами, практическое следствие состоит в том, что выбор оборудования перестаёт быть фиксированным решением платформы. Гетерогенный парк ускорителей означает, что каждая нагрузка несёт ограничения — поддерживаемые форматы точности, пределы памяти, покрытие ядер и компиляторов, а также latency inference при конкурентной нагрузке — которые различаются для каждого семейства чипов. Размещение становится задачей планирования: какая модель, квантизация и длина контекста выполняются на каком устройстве и как маршрутизируются запросы, когда целевой пул насыщен.
Переносимость — это вторичная издержка. Команды, жёстко привязывающие ядра или стеки обслуживания к конкретному вендору, наследуют бремя миграции каждый раз, когда добавляется новый поставщик. Слой маршрутизации, абстрагирующий бэкенд обслуживания, в сочетании с оценочными стендами, которые оценивают одну и ту же нагрузку агента на разных ускорителях, позволяет оставить размещение изменением конфигурации, а не переписыванием. Из предоставленных материалов неясно, какие регионы или сроки применяются к новым соглашениям и как сотрудничество SambaNova в области inference будет позиционироваться относительно мощностей Google и Cerebras.
Агентные системы с циклами вызова инструментов и длинными контекстами чувствительны как к пропускной способности, так и к хвостовой latency, поэтому решения о маршрутизации следует проверять для каждой нагрузки, а не предполагать на основе заявленных характеристик.