DeepSeek, kendi üretim servislerinin arkasında çalıştırdığı çıkarım framework'ü DeepInfer'ı açık kaynağa taşıdı ve gerekçe olarak dağıtım maliyetlerindeki düşüşü gösterdi. Paralel olarak IBM ve Red Hat, modellerini kendi altyapısında çalıştıran ekipler için day-2 operasyonel kontroller ekleyen llm-d 1.0'ı yayımladı. DeepSeek, sürümünü OpenAI ve Anthropic üzerinde sunum ekonomisi konusunda bir baskı olarak çerçeveledi.
Agent mühendisliği açısından ilgili değişim satıcı fiyatlandırması değil, yerleşim. Çıkarım maliyeti ve bir modelin nerede çalıştığı artık bir ekibin görev başına, evaluation taraması başına ve regresyon paketi başına kaç agent çalıştırmayı karşılayabileceğini belirliyor. Açık ve kendi sunucularında barındırılabilir bir sunum yığını, bunu sabit bir gider kaleminden bir dağıtım kararına dönüştürüyor: hangi modeller sahip olunan donanımda çalışır, hangileri bir API'nin arkasında kalır ve aralarındaki yönlendirme nasıl yönetilir. llm-d 1.0'daki day-2 kontroller burada önem kazanıyor çünkü agent iş yükleri uzun ömürlü — sunum altyapısındaki yükseltmeler, geri almalar, kapasite değişiklikleri ve sağlık kontrolleri sistemin sonradan eklenen bir parçası değil, parçası.
Stüdyonun görüşü, evaluation harness'larının ve maliyet modellerinin sunum topolojisiyle birlikte tasarlanması gerektiği yönünde. Sağlanan haber kapsamından netleşmeyen noktalar DeepSeek'in belirttiği somut maliyet rakamları, bunların arkasındaki donanım varsayımları ve llm-d 1.0'ın ayrıntıda hangi operasyonel kontrolleri sunduğu; bunların bir dağıtım planına girmeden önce birincil dokümantasyona karşı doğrulanması gerekiyor.