DeepSeek چارچوب استنتاج DeepInfer را که سرویسهای عملیاتی خودش بر پایه آن اجرا میشود متنباز کرد و کاهش هزینه استقرار را انگیزه این کار اعلام کرد. همزمان، IBM و Red Hat نسخه ۱.۰ llm-d را منتشر کردند که کنترلهای عملیاتی روز دوم را برای تیمهایی که مدلها را درون سازمان اجرا میکنند اضافه میکند. DeepSeek انتشار خود را فشاری بر OpenAI و Anthropic در حوزه اقتصاد سرویسدهی توصیف کرد.

برای مهندسی agent، تغییر مهم نه قیمتگذاری فروشنده بلکه محل استقرار است. هزینه استنتاج و محل اجرای مدل اکنون تعیین میکند که یک تیم برای هر وظیفه، هر دور ارزیابی و هر مجموعه آزمون رگرسیون چند اجرای agent را میتواند بپردازد. یک پشته سرویسدهی باز و خودمیزبان این را از یک قلم هزینه ثابت به یک تصمیم استقرار تبدیل میکند: کدام مدلها روی سختافزار تحت مالکیت اجرا شوند، کدامها پشت یک API بمانند، و مسیریابی میان آنها چگونه مدیریت شود. کنترلهای روز دوم در llm-d 1.0 اینجا اهمیت دارند چون بارهای کاری agent دیرپا هستند — ارتقاها، بازگردانیها، تغییرات ظرفیت و بررسیهای سلامت زیرساخت سرویسدهی بخشی از سیستماند، نه یک افزوده حاشیهای.
دیدگاه استودیو این است که harnessهای ارزیابی و مدلهای هزینه باید همراستا با توپولوژی سرویسدهی طراحی شوند. آنچه از پوشش ارائهشده روشن نیست، ارقام هزینه مشخصی است که DeepSeek ذکر میکند، فرضهای سختافزاری پشت آنها، و اینکه llm-d 1.0 کدام کنترلهای عملیاتی را با جزئیات ارائه میدهد؛ این موارد پیش از آنکه مبنای یک برنامه استقرار قرار گیرند باید با مستندات اصلی راستیآزمایی شوند.
