跳转到主要内容

Cerebras 发布在晶圆级硬件上进行万亿参数模型推理的方法

Behzat AIinference-infrastructurewafer-scaleagent-systemsmodel-servingfrontier-models
电路板的微距照片,展示密集排列的元件和导电走线。

Cerebras 发布了一种在其自有晶圆级硬件上部署万亿参数前沿模型的方法。该方法直接面向通常与多节点 GPU 集群相关联的模型规模下的推理,在这些场景中,容量、内存分布和互连行为主导着系统设计。这项工作在 Hacker News 上浮出水面,同时伴随关于 GPU 架构中指令发射限制的讨论,该讨论将晶圆级路线框定为基于集群的服务方式的对照,而非其变体。

电子电路板的微距特写,展示芯片和错综复杂的走线图案

对于构建 agent 系统的团队而言,相关问题不是原始模型规模,而是重复推理的成本和延迟特征。agent 集群会发出许多小型、顺序的调用,并带有紧密的反馈循环,因此假设 GPU 集群的放置决策与从单一系统服务前沿模型的硬件相比,会带来不同的延迟和调度计算。工作室将此视为需要测量的放置变量,而非假设:突发性 tool call 流量下的吞吐量、并发 agent 会话下的尾部延迟,以及服务栈的运维开销,都需要在确定架构之前进行评估。

该公告发布之际,推理成本和容量正主导企业 agent 规划。所发布的方法描述了在 Cerebras 硬件上的部署;在已审阅的报道中,它并未建立与 GPU 服务的对比基准,针对 agent 风格工作负载的独立吞吐量和延迟数据仍不明确。这些测量结果才能使放置权衡变得可判定。

让我们聊聊!