پرش به محتوای اصلی

AMD رک Helion را با ۳۲٬۷۶۸ هسته CPU برای ایجنت‌های هوش مصنوعی رونمایی کرد

Behzat AIagent-infrastructurecpu-orchestrationamd-helionocp-summitcapacity-planning
نمای نزدیک از یک رک سرور متراکم که ردیف‌هایی از ماژول‌های پردازنده، کابل‌کشی و نشانگرهای وضعیت را نشان می‌دهد.

AMD در اجلاس OCP رک‌های Helion را با ۳۲٬۷۶۸ هسته CPU در هر رک معرفی کرده است. این طراحی به‌طور مشخص برای بارهای کاری هوش مصنوعی ایجنتی و نه آموزش مدل موقعیت‌یابی شده است؛ چارچوبی که آن را از الگوی GPU-محوری که تا امروز بر بحث‌های زیرساخت ایجنت غالب بوده، جدا می‌کند. پوشش خبری این اعلامیه، معماری را CPU-محور توصیف می‌کند و Arm نیز به‌طور جداگانه استدلال کرده است که بارهای کاری ایجنت معنای عملکرد CPU را تغییر می‌دهند.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش‌دهنده زیرساخت فناوری مدرن.

برای رانتایم‌های ایجنت، پروفایل بار کاری مرتبط یک forward pass بزرگ واحد نیست، بلکه ارکستراسیون پیوسته است: زمان‌بندی گام‌ها، ارسال tool callها، باز نگه داشتن نشست‌های طولانی‌مدت و جابه‌جایی payloadهای ساختاریافته میان سرویس‌ها. این کار عمدتاً سری، شاخه‌ای و حساس به latency است و با تعداد هسته و پهنای باند حافظه مقیاس می‌گیرد، نه با توان عبوری tensor. رکی با این چگالی، شرطی است بر این که لایه ارکستراسیون، نه لایه inference، با حرکت ایجنت‌ها از دمو به تولید به گلوگاه اصلی تبدیل می‌شود.

استودیو این را سیگنالی از سمت عرضه می‌خواند، نه حکم قطعی. هنوز روشن نیست که این ۳۲٬۷۶۸ هسته چگونه میان سوکت‌ها توزیع شده‌اند، چه پیکربندی interconnect و حافظه‌ای همراه آن‌هاست، و آیا این موقعیت‌یابی بازتاب ردهای اندازه‌گیری‌شده ایجنت است یا شرطی محصولی با نگاه به آینده. این جزئیات برای برنامه‌ریزی ظرفیت اهمیت دارند، چون تعداد هسته به‌تنهایی توان عبوری را در حلقه‌های ایجنتِ پرابزار و I/O-محور تعیین نمی‌کند.

بیایید صحبت کنیم!