Maliyet baskısı artık agent sistemleri için birinci dereceden bir tasarım kısıtı. Financial Times, kurumsal Amerika'nın daha ucuz açık AI modellerine yöneldiğini bildiriyor; bu değişim, ekiplerin çalıştırma başına ekonomi, barındırma konumu ve satıcı bağımlılığı hakkında ne varsayabileceğini değiştiriyor. Tek bir görevin çok sayıda model çağrısını tetikleyebildiği agent iş yüklerinde, ikame etkisi hızla katlanıyor.
Yönlendirme, ekiplerin kontrol ettiği diğer kaldıraç. KT, kendi geliştirdiği model yönlendirme teknolojisinin küresel bir değerlendirmede genel olarak ikinci sırada yer aldığını bildiriyor; bu da yönlendirme kalitesinin içsel bir optimizasyon değil, ayrı bir yetenek olarak ölçülüp karşılaştırıldığını gösteriyor. Yönlendirme, bir sistemin basit adımları daha ucuz açık ağırlıklı modellere göndermesine ve daha büyük modelleri bunlara ihtiyaç duyan adımlara ayırmasına, çevr
Her iki kaldıraç da güvenilirlikle etkileşiyor. Yönetilmeyen AI agent'larının kurumlara gizli arızalarda milyonlara mal olduğu bildiriliyor; bu da evaluation ve observability'yi aynı maliyet tartışmasının parçası haline getiriyor: daha sık başarısız olan daha ucuz bir model daha ucuz değildir. Haberlerden net olmayan şey, bu yönlendirme sonuçlarının nasıl kapsamlandırıldığı ve bildirilen kayıpları hangi arıza kategorilerinin sürüklediği. Ekipler yönlendirmeyi ve açık ağırlıklı ikameyi, eval'leri yeniden çalıştırmayı, barındırma varsayımlarını gözden geçirmeyi ve satıcı bağımlılıklarını birlikte yeniden kontrol etmeyi gerektiren değişiklikler olarak ele almalı.