پرش به محتوای اصلی

مایکروسافت Azure Maia را به استقرارهای چند گیگاواتی گسترش می‌دهد

Behzat AIazure-maiainference-economicsagent-runtimeacceleratorscapacity-planning
نمای نزدیک از یک رک سرور مرکز داده با واحدهای محاسباتی روی‌هم‌چیده و چراغ‌های نشانگر وضعیت.

مایکروسافت برنامه‌هایی برای گسترش سیستم Azure Maia به استقرارهای چند گیگاواتی منتشر کرده است، و Maia 300 به عنوان تراشه بعدی در این خط معرفی می‌شود. اسکات گاتری تقاضا برای هوش مصنوعی را سیری‌ناپذیر توصیف کرد و به جنگ قیمت مدل‌ها اشاره کرد. این گزارش بازه‌های زمانی، استقرار منطقه‌ای، یا اینکه ظرفیت برای کدام بارهای کاری رزرو شده است را مشخص نمی‌کند؛ این جزئیات همچنان نامشخص است.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، که زیرساخت فناوری مدرن را نشان می‌دهد.

برای تیم‌هایی که agent اجرا می‌کنند، محدودیت به‌ندرت فقط کیفیت مدل است. حلقه‌های طولانی‌مدت agent، tool callها، تلاش‌های مجدد و مراحل evaluation همگی به‌طور مداوم توکن‌های inference مصرف می‌کنند، بنابراین سقف‌های throughput و هزینه هر توکن تعیین می‌کنند که چه چیزی از نظر معماری امکان‌پذیر است. یک نقشه راه شتاب‌دهنده اختصاصی در مقیاس گیگاوات محاسبات ساخت-در-برابر-خرید را تغییر می‌دهد: بارهای کاری که پیش‌تر از نظر هزینه برای عملیات همیشه-روشن کنار گذاشته می‌شدند، اکنون کاندیدای استقرار پایدار می‌شوند، و در جایی که ظرفیت به‌صورت on-demand در دسترس باشد، استدلال برای self-hosting بیشتر تضعیف می‌شود.

Behzat AI اقتصاد inference را به عنوان یک ورودی طراحی در نظر می‌گیرد، نه یک فکر بعدی. توپولوژی‌های agent، بودجه‌های context، لایه‌های caching و سیاست‌های escalation بر اساس هزینه اندازه‌گیری‌شده به ازای هر وظیفه تکمیل‌شده انتخاب می‌شوند، نه به ازای هر فراخوانی. وقتی عرضه شتاب‌دهنده در این مقیاس گسترش می‌یابد، پاسخ معقول این است که آن evaluationها را دوباره اجرا کنیم، نه اینکه فرض کنیم مبادلات فصل گذشته هنوز برقرارند. سؤال عملی برای بیشتر تیم‌ها این نیست که آیا مهاجرت کنند، بلکه این است که کدام مسیرهای agent ارزش آن را دارند که ابتدا قیمت‌گذاری مجدد شوند.

بیایید صحبت کنیم!