跳转到主要内容

DeepSeek 与 IBM 开源生产级推理工具链

Behzat AIinferenceopen-sourcellm-servingagent-infrastructureself-hosting
服务器机架特写,可见网络与计算单元、指示灯和线缆

DeepSeek 已开源 DeepInfer,这是其自有生产服务背后运行的推理框架,官方将降低部署成本列为动机。与此同时,IBM 与 Red Hat 发布了 llm-d 1.0,为在内部运行模型的团队增加了 day-2 运维控制。DeepSeek 将其发布定位为围绕服务经济性对 OpenAI 和 Anthropic 施压。

数据中心内亮起的服务器机架特写,展示现代基础设施

对于 agent 工程而言,相关的转变不在于厂商定价,而在于部署位置。推理成本以及模型运行的位置,如今决定了团队在每项任务、每轮 evaluation 扫描和每套回归测试上能负担多少次 agent 运行。开放、可自托管的服务栈将这一点从固定支出项转变为部署决策:哪些模型运行在自有硬件上,哪些留在 API 之后,以及两者之间的路由如何治理。llm-d 1.0 中的 day-2 控制在此至关重要,因为 agent 工作负载是长期运行的——服务基础设施的升级、回滚、容量变更和健康检查是系统的一部分,而非事后考虑。

本工作室的观点是,evaluation harness 与成本模型应与服务拓扑一同设计。从所提供的报道中仍不清楚的是:DeepSeek 引用的具体成本数字、这些数字背后的硬件假设,以及 llm-d 1.0 具体暴露了哪些运维控制;在它们影响部署计划之前,需要对照一手文档进行核实。

让我们聊聊!