跳转到主要内容

Oracle 将 Google TPU 和 Cerebras 芯片纳入其 AI 芯片栈

Behzat AIai-hardwareoracle-cloudmodel-servingagent-infrastructureaccelerators
数据中心服务器机架特写,展示密集的计算节点、线缆和状态指示灯。

Oracle 扩大了与 Nvidia 的 AI 芯片协议,并新增 Google 和 Cerebras 作为供应商,使 Oracle Cloud Infrastructure 的加速器栈不再依赖单一厂商。SambaNova 另行宣布合作,将高性能推理引入 OCI。已有报道还指出,OpenAI 正在评估 Google AI 芯片,以减少对 Nvidia 的依赖。

数据中心内亮起的服务器机架特写,展示现代技术基础设施

对 agent 团队而言,实际后果是硬件选择不再是一项固定的平台决策。异构加速器资产意味着每个工作负载都带有约束——支持的精度格式、内存上限、内核与编译器覆盖范围,以及并发下的推理延迟——这些约束因芯片系列而异。部署变成了调度问题:哪个模型、量化和上下文长度运行在哪台设备上,以及当目标资源池饱和时请求如何路由。

可移植性是二阶成本。硬编码厂商特定内核或服务栈的团队,每新增一个供应商就要承担一次迁移负担。一个抽象服务后端的路由层,加上能在不同加速器上对同一 agent 工作负载打分的评估工具,可以让部署保持为配置变更而非重写。从所提供的报道中尚不清楚新协议适用于哪些区域或时间线,也不清楚 SambaNova 的推理合作将相对于 Google 和 Cerebras 的容量如何定位。

带有工具调用循环和长上下文的 agent 系统对吞吐量和尾部延迟都很敏感,因此路由决策应按工作负载验证,而不是根据头条规格假定。

让我们聊聊!