پرش به محتوای اصلی

IBM و Red Hat نسخه ۱.۰ llm-d را برای مقاوم‌سازی استنتاج متن‌باز در محیط تولید عرضه کردند

Behzat AIllm-inferencekubernetesopen-sourcemlopsagent-infrastructure
نمای نزدیک از یک رک سرور با کابل‌های شبکه و چراغ‌های وضعیت در راهروی یک مرکز داده

IBM نسخه ۱.۰ llm-d را معرفی کرده است؛ یک چارچوب استنتاج باز که برای استقرار در مقیاس تولید طراحی شده است. IBM Research این انتشار را مقاوم‌سازی استنتاج متن‌باز برای عملیات تولید در روز دوم توصیف می‌کند — یعنی کار مستمر اجرا، مقیاس‌پذیری و نگهداری زیرساخت سرویس‌دهی پس از استقرار اولیه، نه صرفاً نخستین درخواست موفق.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، عکس استوک

برای تیم‌هایی که ناوگان‌های agent را اجرا می‌کنند، این تغییر عملیاتی است نه آزمایشی. سرویس‌دهی استنتاج اکنون یک مسئله روز دوم است: برنامه‌ریزی ظرفیت، جداسازی میان بارهای کاری، مسیرهای ارتقا و هزینه به ازای هر token همگی زمانی که agentها از نمونه‌های اولیه به ترافیک تولیدی زمان‌بندی‌شده منتقل می‌شوند، روی مسیر بحرانی قرار می‌گیرند. این انتشار کنترل‌هایی برای اجرای مدل‌ها به‌صورت درون‌سازمانی به‌جای APIهای میزبانی‌شده اضافه می‌کند و پوشش خبری آن را به بهره‌وری هزینه در مقیاس تولید برای استقرارهای خودمیزبان مرتبط می‌سازد. این موضوع جایی اهمیت دارد که اقامت داده، بودجه تأخیر یا هزینه قابل پیش‌بینی، نقاط پایانی خارجی را منتفی می‌کند.

یک پشته باز و Kubernetes-native همچنین نحوه برنامه‌ریزی ظرفیت و هزینه را تغییر می‌دهد. زمان‌بندی، مقیاس‌پذیری و انتخاب نود بخشی از control plane موجود تیم پلتفرم می‌شوند به‌جای جعبه سیاه یک فروشنده، که آزمون بار و برآورد ظرفیت مازاد را بازتولیدپذیر می‌کند. آنچه پوشش ارائه‌شده مشخص نمی‌کند، مجموعه ویژگی‌های دقیق نسخه ۱.۰، شتاب‌دهنده‌های پشتیبانی‌شده یا هرگونه رقم اندازه‌گیری‌شده از توان عملیاتی، تأخیر یا هزینه است. این جزئیات باید پیش از آنکه در یک مدل ظرفیت به کار روند، با مستندات خود پروژه راستی‌آزمایی شوند. Behzat AI این انتشار را نشانه‌ای از بلوغ استنتاج خودمیزبان به یک رشته عملیاتی استاندارد می‌داند.

بیایید صحبت کنیم!