پرش به محتوای اصلی

Arm: بارهای کاری ایجنت معنای کارایی CPU را تغییر می‌دهند

Behzat AIagent-infrastructurecpu-performancecapacity-planninghardwarellm-serving
نمای نزدیک از یک رک سرور متراکم که ردیف‌هایی از ماژول‌های پردازنده، کابل‌کشی و نشانگرهای وضعیت را نشان می‌دهد.

Arm تحلیلی منتشر کرده است که استدلال می‌کند ایجنت‌های هوش مصنوعی در حال تغییر معنای کارایی CPU هستند. این ادعا محدود و consequential است: حلقه‌های ایجنت شاخه‌دار، حالت‌مند و وابسته به ابزارند، نه وابسته به توان عملیاتی. یک حلقه سرویس‌دهی زمان خود را صرف جریان کنترل، حالت حافظه و انتظار برای ابزارهای خارجی می‌کند، نه محاسبات ماتریسی متراکم. بنابراین فرضیات اندازه‌گذاری میزبان که از خوشه‌های آموزش به ارث رسیده‌اند، زمان اجرایی که واقعاً به ایجنت‌ها سرویس می‌دهد را اشتباه قیمت‌گذاری می‌کنند.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، که زیرساخت مدرن را نشان می‌دهد.

فروشندگان سخت‌افزار در حال موضع‌گیری در برابر این خوانش هستند. AMD ۳۲٬۷۶۸ هسته CPU را در رکی که برای ایجنت‌های هوش مصنوعی ساخته شده قرار داده است، با رک‌های Helion که در اجلاس OCP رونمایی شدند. در همان زمان، مدیران عامل Intel و Broadcom هشدار دادند که کمبود سرمایه می‌تواند به بزرگ‌ترین گلوگاه هوش مصنوعی تبدیل شود. با هم خوانده شوند، این سه مورد بازاری را توصیف می‌کنند که بین میزبان‌های ایجنت با هسته متراکم و سرمایه محدود برای ساخت آن‌ها تقسیم می‌شود.

برای تیم‌هایی که سیستم‌های ایجنت را اجرا می‌کنند، سؤال عملی اندازه‌گیری است. قبل از اتخاذ قوانین اندازه‌گذاری دوران آموزش، حلقه واقعی را پروفایل کنید: چگالی شاخه، ردپای حالت، تأخیر ابزار و زمان بیکاری. آنچه از پوشش ارائه‌شده نامشخص می‌ماند این است که Arm این معیار را چگونه تعریف می‌کند، و آیا ارقام رک AMD به یک پیکربندی قابل ارسال اشاره دارند یا یک طراحی مرجع.

بیایید صحبت کنیم!