IBM 已发布 llm-d 1.0，这是一个面向生产规模部署的开放推理框架。IBM Research 将此次发布定位为针对 day-2 生产运维加固开源推理——即在首次部署之后持续运行、扩展和维护服务基础设施的日常工作，而非首次请求成功。
对于运行 agent 集群的团队而言，这一转变是运维层面的，而非实验层面的。推理服务如今是一个 day-2 问题：一旦 agent 从原型进入按计划的生产流量，容量规划、工作负载之间的隔离、升级路径以及每 token 成本都会落在关键路径上。此次发布增加了在本地运行模型而非通过托管 API 运行的控制能力，相关报道将其与自托管部署在生产规模下的成本效率联系起来。在数据驻留、延迟预算或可预测支出排除了外部端点的情况下，这一点尤为重要。
开放、Kubernetes 原生的栈也改变了容量与成本的规划方式。调度、扩缩容和节点选择成为平台团队现有控制平面的一部分，而非厂商的黑盒，这使得负载测试和余量估算可复现。现有报道并未明确 1.0 的确切功能集、支持的加速器，或任何实测吞吐量、延迟或成本数据。在将这些细节纳入容量模型之前，需要对照项目自身的文档进行核实。Behzat AI 将此次发布视为一个信号：自托管推理正在成熟为一项标准的运维规范。