Oracle, Nvidia ile olan AI çip anlaşmalarını genişleterek Google ve Cerebras'ı da tedarikçi olarak ekledi ve Oracle Cloud Infrastructure'ın hızlandırıcı yığınını tek bir satıcının ötesine taşıdı. SambaNova ayrıca OCI'ya yüksek performanslı inference kazandırmak için bir iş birliği duyurdu. Haberler, OpenAI'ın Nvidia'ya bağımlılığını azaltmak için Google AI çiplerini değerlendirdiğine de işaret ediyor.
Agent ekipleri için pratik sonuç, donanım seçiminin artık sabit bir platform kararı olmaktan çıkmasıdır. Heterojen bir hızlandırıcı envanteri, her iş yükünün silikon ailesine göre farklılaşan kısıtlar taşıması anlamına gelir: desteklenen hassasiyet formatları, bellek üst sınırları, kernel ve derleyici kapsamı ve eşzamanlılık altında inference latency. Yerleşim bir çizelgeleme problemine dönüşür: hangi model, niceleme ve bağlam uzunluğu hangi cihazda çalışacak ve hedef havuz doyduğunda istekler nasıl yönlendirilecek.
Taşınabilirlik ikincil maliyettir. Satıcıya özgü kernel'leri veya serving yığınlarını sabit kodlayan ekipler, her yeni tedarikçi eklendiğinde bir geçiş yükü devralır. Serving backend'ini soyutlayan bir yönlendirme katmanı, aynı agent iş yükünü hızlandırıcılar arasında puanlayan evaluation harness'larıyla birleştiğinde, yerleşimi yeniden yazım yerine bir konfigürasyon değişikliği olarak tutar. Sağlanan haberlerden yeni anlaşmaların hangi bölgeler veya zaman çizelgeleri için geçerli olduğu ya da SambaNova'nın inference iş birliğinin Google ve Cerebras kapasitesine göre nasıl konumlandırılacağı net değil.
Tool call döngüleri ve uzun bağlamlarla çalışan agent sistemleri hem throughput hem de tail latency'ye duyarlıdır; bu nedenle yönlendirme kararları manşet spesifikasyonlarından varsayılmak yerine iş yükü başına doğrulanmalıdır.