跳转到主要内容

DeepSeek 开源 DeepInfer:支撑其生产服务的推理框架

Behzat AIdeepseekinferenceopen-sourceagent-infrastructureserving
服务器机架特写,展示堆叠的计算单元、线缆和指示灯,位于数据中心内。

DeepSeek 已将 DeepInfer 开源,并称其为支撑自身生产服务的推理框架。此次发布公开的是一套可用的服务栈,而非参考实现或内部系统的子集。彭博社、SiliconANGLE、Quartz 和 TechTarget 等媒体的报道将此举围绕降低 AI 运营成本展开,路透社时期的报道则将其定位为对 OpenAI 和 Anthropic 的压力。

数据中心内亮起的服务器机架特写,展示现代技术基础设施

对于运行 agent 工作负载的团队而言,关键细节在于成本所在之处。agent 系统会在每个任务中成倍增加模型调用:规划步骤、工具选择、重试、验证环节和子 agent 交接各自都会增加请求,因此服务效率会在一次运行中层层累积,而非只作用一次。一套可信的开源服务栈会改变自托管运行时在自建与采购之间的权衡,并为工程团队提供一个可用来对标自身部署的基线。

本工作室的解读是,这降低了自托管 agent 基础设施的门槛,但并未让决策尘埃落定。所提供报道未给出吞吐量、延迟或硬件数据、许可条款,也未与其他服务框架进行对比,且未引用任何独立评估。这些数字才是决定在特定工作负载下自托管能否胜过托管 API 的关键,应当按每次部署实测,而非从公告中臆断。

让我们聊聊!