پرش به محتوای اصلی

DeepSeek و IBM ابزارهای متن‌باز استنتاج در محیط عملیاتی را منتشر کردند

Behzat AIinferenceopen-sourcellm-servingagent-infrastructureself-hosting
نمای نزدیک از یک رک سرور با واحدهای شبکه و پردازش، چراغ‌های نشانگر و کابل‌کشی قابل مشاهده

DeepSeek چارچوب استنتاج DeepInfer را که سرویس‌های عملیاتی خودش بر پایه آن اجرا می‌شود متن‌باز کرد و کاهش هزینه استقرار را انگیزه این کار اعلام کرد. هم‌زمان، IBM و Red Hat نسخه ۱.۰ llm-d را منتشر کردند که کنترل‌های عملیاتی روز دوم را برای تیم‌هایی که مدل‌ها را درون سازمان اجرا می‌کنند اضافه می‌کند. DeepSeek انتشار خود را فشاری بر OpenAI و Anthropic در حوزه اقتصاد سرویس‌دهی توصیف کرد.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش زیرساخت مدرن

برای مهندسی agent، تغییر مهم نه قیمت‌گذاری فروشنده بلکه محل استقرار است. هزینه استنتاج و محل اجرای مدل اکنون تعیین می‌کند که یک تیم برای هر وظیفه، هر دور ارزیابی و هر مجموعه آزمون رگرسیون چند اجرای agent را می‌تواند بپردازد. یک پشته سرویس‌دهی باز و خودمیزبان این را از یک قلم هزینه ثابت به یک تصمیم استقرار تبدیل می‌کند: کدام مدل‌ها روی سخت‌افزار تحت مالکیت اجرا شوند، کدام‌ها پشت یک API بمانند، و مسیریابی میان آن‌ها چگونه مدیریت شود. کنترل‌های روز دوم در llm-d 1.0 اینجا اهمیت دارند چون بارهای کاری agent دیرپا هستند — ارتقاها، بازگردانی‌ها، تغییرات ظرفیت و بررسی‌های سلامت زیرساخت سرویس‌دهی بخشی از سیستم‌اند، نه یک افزوده حاشیه‌ای.

دیدگاه استودیو این است که harnessهای ارزیابی و مدل‌های هزینه باید هم‌راستا با توپولوژی سرویس‌دهی طراحی شوند. آنچه از پوشش ارائه‌شده روشن نیست، ارقام هزینه مشخصی است که DeepSeek ذکر می‌کند، فرض‌های سخت‌افزاری پشت آن‌ها، و اینکه llm-d 1.0 کدام کنترل‌های عملیاتی را با جزئیات ارائه می‌دهد؛ این موارد پیش از آنکه مبنای یک برنامه استقرار قرار گیرند باید با مستندات اصلی راستی‌آزمایی شوند.

بیایید صحبت کنیم!