اوراکل توافق‌های تراشه هوش مصنوعی خود را با Nvidia گسترش داده و Google و Cerebras را نیز به‌عنوان تأمین‌کننده اضافه کرده است، که این امر مجموعه شتاب‌دهنده‌های Oracle Cloud Infrastructure را فراتر از یک تأمین‌کننده واحد می‌برد. SambaNova به‌طور جداگانه اعلام کرد که همکاری‌ای برای ارائه inference با کارایی بالا در OCI آغاز کرده است. گزارش‌های منتشرشده همچنین نشان می‌دهد که OpenAI در حال ارزیابی تراشه‌های هوش مصنوعی Google برای کاهش وابستگی خود به Nvidia است.
برای تیم‌های agent، پیامد عملی این است که انتخاب سخت‌افزار دیگر یک تصمیم ثابت پلتفرمی نیست. مجموعه‌ای ناهمگون از شتاب‌دهنده‌ها به این معناست که هر بار کاری محدودیت‌هایی دارد — قالب‌های دقت پشتیبانی‌شده، سقف حافظه، پوشش kernel و کامپایلر، و latency استنتاج تحت هم‌روندی — که در هر خانواده سیلیکون متفاوت است. جای‌گذاری به یک مسئله زمان‌بندی تبدیل می‌شود: کدام مدل، کوانتیزه‌سازی و طول context روی کدام دستگاه اجرا شود، و درخواست‌ها هنگام اشباع یک استخر هدف چگونه مسیریابی شوند.
قابلیت انتقال، هزینه مرتبه دوم است. تیم‌هایی که kernelها یا استک‌های سرویس‌دهی مخصوص یک تأمین‌کننده را به‌صورت سخت‌کدشده پیاده می‌کنند، با هر افزودن تأمین‌کننده جدید بار مهاجرت را به ارث می‌برند. یک لایه مسیریابی که backend سرویس‌دهی را انتزاع می‌کند، همراه با harnessهای ارزیابی که همان بار کاری agent را در میان شتاب‌دهنده‌ها امتیازدهی می‌کنند، جای‌گذاری را به یک تغییر پیکربندی به‌جای بازنویسی تبدیل می‌کند. از پوشش ارائه‌شده مشخص نیست که کدام مناطق یا بازه‌های زمانی به توافق‌های جدید مربوط می‌شوند، یا همکاری inference شرکت SambaNova نسبت به ظرفیت Google و Cerebras چگونه جای‌گذاری خواهد شد.
سیستم‌های agent با حلقه‌های tool call و contextهای طولانی به هر دو معیار throughput و tail latency حساس هستند، بنابراین تصمیم‌های مسیریابی باید به‌ازای هر بار کاری اعتبارسنجی شوند و نه بر اساس مشخصات تبلیغاتی فرض شوند.