الانتقال إلى المحتوى الرئيسي

DeepSeek وIBM تفتحان أدوات الاستدلال الإنتاجية مفتوحة المصدر

Behzat AIinferenceopen-sourcellm-servingagent-infrastructureself-hosting
لقطة قريبة من رف خوادم مع وحدات شبكة وحوسبة، وأضواء مؤشرة وكابلات ظاهرة

أطلقت DeepSeek إطار DeepInfer مفتوح المصدر، وهو إطار الاستدلال الذي تشغّله خلف خدماتها الإنتاجية، مشيرةً إلى خفض تكاليف النشر كدافع لذلك. وبالتوازي، أصدرت IBM وRed Hat إصدار llm-d 1.0، الذي يضيف ضوابط تشغيلية لليوم الثاني للفرق التي تشغّل النماذج داخليًا. وقد صاغت DeepSeek إصدارها كضغط على OpenAI وAnthropic حول اقتصاديات تقديم الخدمة.

لقطة قريبة من رفوف خوادم مضيئة في مركز بيانات، تُظهر بنية تحتية حديثة

بالنسبة لهندسة الـ agent، فإن التحول ذا الصلة ليس تسعير المورّد بل موضع التشغيل. فتكلفة الاستدلال ومكان تشغيل النموذج يحددان الآن عدد تشغيلات الـ agent التي يمكن للفريق تحمّل تكلفتها لكل مهمة، ولكل دورة evaluation، ولكل مجموعة اختبارات انحدار. وحزمة تقديم خدمة مفتوحة قابلة للاستضافة الذاتية تحوّل ذلك من بند تكلفة ثابت إلى قرار نشر: أي النماذج تعمل على عتاد مملوك، وأيها يبقى خلف API، وكيف يُحكَم التوجيه بينها. وتهمّ ضوابط اليوم الثاني في llm-d 1.0 هنا لأن أحمال عمل الـ agent طويلة الأمد — فالترقيات والتراجعات وتغييرات السعة وفحوص السلامة على بنية تقديم الخدمة جزء من النظام وليست فكرة لاحقة.

ورأي الاستوديو هو أن أُطر evaluation ونماذج التكلفة ينبغي تصميمها جنبًا إلى جنب مع طوبولوجيا تقديم الخدمة. وما يبقى غير واضح من التغطية المتاحة هو أرقام التكلفة المحددة التي تستشهد بها DeepSeek، والافتراضات العتادية الكامنة وراءها، وأي الضوابط التشغيلية التي يعرضها llm-d 1.0 بالتفصيل؛ وكل ذلك يحتاج إلى التحقق منه مقابل الوثائق الأساسية قبل أن يُستند إليه في خطة نشر.

لنتحدث!