IBM анонсировала llm-d 1.0 — открытый inference-фреймворк, позиционируемый для развёртываний в продакшен-масштабе. IBM Research представляет релиз как укрепление open-source inference для day-2 продакшен-операций — постоянной работы по запуску, масштабированию и поддержке инфраструктуры обслуживания после первоначального развёртывания, а не первого успешного запроса.
Для команд, эксплуатирующих флоты агентов, этот сдвиг носит операционный, а не экспериментальный характер. Inference-обслуживание теперь стало задачей day-2: планирование мощностей, изоляция между рабочими нагрузками, пути обновления и стоимость за token — всё это оказывается на критическом пути, как только агенты переходят из прототипов в плановый продакшен-трафик. Релиз добавляет средства контроля для запуска моделей внутри компании вместо использования hosted API, а освещение связывает его с экономической эффективностью в продакшен-масштабе для self-hosted развёртываний. Это важно там, где требования к размещению данных, бюджеты задержки или предсказуемость расходов исключают внешние эндпоинты.
Открытый стек, нативный для Kubernetes, также меняет подход к планированию мощностей и затрат. Планирование, масштабирование и выбор узлов становятся частью существующей control plane платформенной команды, а не чёрным ящиком вендора, что делает нагрузочное тестирование и оценки запаса мощности воспроизводимыми. Чего предоставленное освещение не устанавливает, так это точный набор функций 1.0, поддерживаемые ускорители или какие-либо измеренные показатели пропускной способности, задержки или стоимости. Эти детали необходимо проверить по собственной документации проекта, прежде чем они лягут в основу модели мощностей. Behzat AI рассматривает релиз как сигнал того, что self-hosted inference становится стандартной операционной дисциплиной.