Cerebras опубликовала метод развёртывания фронтирных моделей с триллионом параметров на собственном wafer-scale оборудовании. Подход нацелен непосредственно на инференс при размерах моделей, которые обычно ассоциируются с многоузловыми GPU-кластерами, где ёмкость, распределение памяти и поведение межсоединений определяют архитектуру системы. Работа была замечена на Hacker News вместе с обсуждением ограничений выдачи инструкций в архитектурах GPU — ветка, которая представляет wafer-scale подход как контраст кластерному обслуживанию, а не его вариацию.
Для команд, строящих агентные системы, важный вопрос — не масштаб модели как таковой, а профиль стоимости и задержки повторного инференса. Флоты агентов выполняют множество небольших последовательных вызовов с тесными циклами обратной связи, поэтому решения о размещении, предполагающие GPU-кластер, влекут иной расчёт задержки и планирования, чем оборудование, обслуживающее фронтирную модель из одной системы. Студия рассматривает это как переменную размещения, которую нужно измерять, а не предполагать: пропускная способность при пиковом трафике tool call, хвостовая задержка при параллельных сессиях агентов и операционные издержки стека обслуживания — всё это требует оценки до принятия архитектурного решения.
Анонс появился в момент, когда стоимость и ёмкость инференса определяют корпоративное планирование агентов. Опубликованный метод описывает развёртывание на оборудовании Cerebras; в рассмотренных материалах он не устанавливает сравнительных бенчмарков против GPU-обслуживания, и независимые показатели пропускной способности и задержки для агентных нагрузок остаются неясными. Именно эти измерения сделали бы компромисс размещения разрешимым.