DeepSeek, kendi üretim servislerinin arkasındaki inference çerçevesi olarak tanımladığı DeepInfer'ı açık kaynak olarak yayımladı. Bu yayın, bir referans uygulama ya da iç sistemin bir alt kümesi yerine çalışan bir serving yığınını açığa çıkarıyor. Bloomberg, SiliconANGLE, Quartz ve TechTarget gibi yayınlar hamleyi yapay zekâ işletim maliyetlerini düşürmek etrafında çerçeveledi; Reuters dönemindeki haberler ise bunu OpenAI ve Anthropic üzerinde baskı olarak konumlandırdı.
Agent iş yükleri çalıştıran ekipler için ilgili ayrıntı, maliyetin nerede olduğudur. Agent sistemleri görev başına model çağrılarını çoğaltır: planlama adımları, tool seçimi, yeniden denemeler, doğrulama geçişleri ve alt-agent devirleri her biri istek ekler; dolayısıyla serving verimliliği bir kez uygulanmak yerine bir çalıştırma boyunca bileşik etki yapar. İnandırıcı bir açık serving yığını, kendi barındırılan çalışma zamanları için yap-veya-satın-al hesabını değiştirir ve mühendislik ekiplerine kendi dağıtımlarını kıyaslayabilecekleri bir referans tabanı verir.
Stüdyonun okuması, bunun kendi barındırılan agent altyapısı için tabanı düşürdüğü ama kararı kesinleştirmediği yönünde. Sağlanan haberler throughput, latency veya donanım rakamları, lisans koşulları ya da diğer serving çerçeveleriyle karşılaştırma sunmuyor ve bağımsız bir değerlendirmeye atıf yapmıyor. Belirli bir iş yükü için kendi barındırmanın barındırılan bir API'yi geçip geçmediğini belirleyen sayılar bunlardır ve duyurudan varsayılmak yerine dağıtım başına ölçülmelidir.