پرش به محتوای اصلی

DeepSeek فریم‌ورک استنتاج DeepInfer را که پشت سرویس‌های عملیاتی‌اش است به‌صورت متن‌باز منتشر کرد

Behzat AIdeepseekinferenceopen-sourceagent-infrastructureserving
نمای نزدیک از یک رک سرور که واحدهای محاسباتی انباشته، کابل‌کشی و چراغ‌های نشانگر را در یک مرکز داده نشان می‌دهد.

DeepSeek فریم‌ورک DeepInfer را به‌صورت متن‌باز منتشر کرده و آن را فریم‌ورک استنتاج پشت سرویس‌های عملیاتی خود توصیف می‌کند. این انتشار یک پشتهٔ سرویس‌دهی آمادهٔ کار را در دسترس عموم قرار می‌دهد، نه یک پیاده‌سازی مرجع یا زیرمجموعه‌ای از سیستم داخلی. رسانه‌هایی از جمله Bloomberg، SiliconANGLE، Quartz و TechTarget این اقدام را حول محور کاهش هزینه‌های عملیاتی هوش مصنوعی قالب‌بندی کردند و پوشش خبری هم‌زمان با Reuters آن را فشاری بر OpenAI و Anthropic توصیف کرد.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش زیرساخت فناوری مدرن

برای تیم‌هایی که بارهای کاری agent اجرا می‌کنند، جزئیات مهم این است که هزینه کجا قرار دارد. سیستم‌های agent تعداد فراخوانی‌های مدل را به ازای هر وظیفه چند برابر می‌کنند: مراحل برنامه‌ریزی، انتخاب ابزار، تلاش‌های مجدد، مراحل راستی‌آزمایی و تحویل بین sub-agentها هر کدام درخواست اضافه می‌کنند، بنابراین بهره‌وری سرویس‌دهی در طول یک اجرا انباشته می‌شود نه اینکه یک‌بار اعمال شود. یک پشتهٔ سرویس‌دهی متن‌باز معتبر، محاسبهٔ ساخت در برابر خرید را برای runtimeهای خودمیزبان تغییر می‌دهد و به تیم‌های مهندسی یک خط پایه می‌دهد تا استقرارهای خودشان را با آن محک بزنند.

برداشت استودیو این است که این اقدام کفِ زیرساخت agent خودمیزبان را پایین می‌آورد اما تصمیم را قطعی نمی‌کند. پوشش خبری ارائه‌شده ارقام توان عملیاتی، تأخیر یا سخت‌افزار، شرایط مجوز یا مقایسه با سایر فریم‌ورک‌های سرویس‌دهی را ارائه نمی‌دهد و هیچ ارزیابی مستقلی ذکر نشده است. این‌ها همان اعدادی هستند که تعیین می‌کنند آیا برای یک بار کاری مشخص، خودمیزبانی بر API میزبانی‌شده برتری دارد یا نه، و باید برای هر استقرار اندازه‌گیری شوند نه اینکه از روی اعلامیه فرض شوند.

بیایید صحبت کنیم!