Değişim
Son iki yılın büyük bölümünde agent mimarisi tek bir katı kısıt tarafından şekillendirildi: her token para maliyetliydi ve sayaç başkasının altyapısında çalışıyordu. Ekipler akılcı tepki verdi. Prompt'ları kıstılar, agresif önbellekleme yaptılar ve en büyük modelleri gerçekten ihtiyaç duyan adımlara ayırdılar. Model kıt kaynaktı; orkestrasyon ise etrafına sığan şeydi.
Bu kısıt gevşiyor. Açık ağırlıklı modeller talimat takibi, araç kullanımı ve yapılandırılmış çıktı konusunda aradaki farkın büyük bölümünü kapattı; sunum yığınları ise bunları sahip olunan veya rezerve edilmiş donanımda anlamlı hacimde çalıştıracak kadar verimli hale geldi. Pratik sonuç, büyük barındırılan modellerin ortadan kalkması değil. Sonuç, bir token'ın marjinal maliyetinin aldığınız bir fatura değil, kontrol ettiğiniz bir tasarım parametresi haline gelmesidir.
Marjinal çıkarım ucuz ve öngörülebilir olduğunda, ilginç soru "hangi model?" olmaktan çıkıp "kaç kez, hangi sırayla ve nasıl doğrulanarak?" olmaya başlar. Darboğaz, model seçiminden orkestrasyon kalitesine ve donanım kullanımına kayar.
Yönlendirme mimari haline gelir
İlk görünür değişiklik, model yönlendirmenin bir satın alma kararı olmaktan çıkıp yapısal bir karar haline gelmesidir. Yüksek hacimli bir agent iş yükü nadiren tekdüze zordur. Kolay adımlardan oluşan uzun bir kuyruk — sınıflandırma, çıkarım, normalizasyon, retrieval sorgu yeniden yazımı, şema doğrulama — ve bunları kesen az sayıda gerçekten zor adım: çok adımlı planlama, belirsizlik giderme, çelişen kaynaklar arasında sentez.
Kolay adımları küçük, kendi barındırdığınız bir modelde çalıştırabildiğinizde, tüm sistemin maliyet profili şekil değiştirir. Zor adımlar hâlâ bir frontier modele yönlendirilir, ama artık çağrıların azınlığıdır. Mimari bir yönlendirme politikası olarak okunur: ucuz bir sınıflandırıcı her adımı hangi katmanın işleyeceğine karar verir ve pahalı katman ayrılır. Bu politika sahip olduğunuz, sürümlediğiniz ve test ettiğiniz koddur — bir satıcının endpoint'i değil.
Somutlaştırmaya değer mekanizma budur. Tipik bir yönlendirme katmanının üç parçası vardır:
- Bir zorluk sinyali. Küçük bir model (veya girdi uzunluğu, araç sayısı ve şema karmaşıklığı üzerinden bir sezgisel) gelen adımı puanlar. Bu sinyal ucuz ve kusurludur; işi yükseltme konusunda muhafazakâr olmaktır.
- Bir katman haritası. Her katman somut bir dağıtıma işaret eder: yerel GPU'larda nicemlenmiş bir açık ağırlıklı model, barındırılan küçük bir model, barındırılan bir frontier model. Katmanlar sabit bir arayüz arkasında birbirinin yerine geçebilir.
- Bir geri dönüş ve yükseltme yolu. Ucuz katman doğrulamada başarısız olduğunda — bozuk JSON, eksik atıf, başarısız araç çağrısı — adım bir üst katmanda yeniden denenir. Yükseltme, ucuz katman konusunda agresif olmanızı sağlayan güvenlik ağıdır.
Ekonomi ancak yükseltme nadir ve ölçülü olduğunda işler. Ucuz katman çağrılarının üçte biri yükseltiliyorsa, iki kez ödemiş ve hiçbir şey kazanmamışsınızdır. Bu ölçüm bir orkestrasyon meselesidir ve mühendislik çabasının çoğu artık buraya gider.
Neyi mümkün kılar
Ucuz, kontrol edilebilir marjinal çıkarım, hangi agent tasarımlarının karşılanabilir olduğunu ve dolayısıyla hangi tasarımların inşa edildiğini değiştirir.
Daha geniş fan-out. Daha önce tek bir aday plan üreten bir planlama adımı, seçimden önce her biri değerlendirilip puanlanan birkaç plan üretebilir. Birden fazla akıl yürütme yolunu örnekleyip en iyisini seçmek, güvenilirliği artırmanın iyi anlaşılmış bir yoludur, ama çıkarımı katlar. Çarpan, çağrı başına bir fatura yerine kontrol edilen yerel bir maliyet olduğunda, fan-out bir lüks değil varsayılan hale gelir.
Daha fazla doğrulama geçişi. Doğrulama, agent tasarımının kendi maliyetini çıkaran ve maliyet baskısı altında kesilmesi en kolay parçasıdır. Her araç çağrısını yeniden okuyan, çıkarılan her alanı kaynak aralığına karşı kontrol eden ve desteklenmeyen iddiaları reddeden ucuz bir doğrulayıcı model, bir örneklem yerine her adımda çalışabilir. Doğrulayıcının dâhi olması gerekmez; tutarlı ve her zaman çalışacak kadar ucuz olması gerekir.
Sürekli değerlendirme. Belki de en önemli değişiklik değerlendirme koşum takımındadır. Çıkarım sahip olduğunuz bir kalem olduğunda, bir eval paketi bütçe için yarışan bir gece toplu işi değildir. Her prompt, yönlendirme politikası ve model sürümü değişikliğine karşı sürekli çalışan bir servistir. Regresyon tespiti "ertesi sabah"tan "sonraki commit"e taşınır. Nicemlenmiş bir modeldeki veya yeniden ayarlanmış bir router'daki davranışsal sapma, değişiklik hâlâ incelemedeyken ortaya çıkar.
Bunların hiçbiri yeni teknik değil. Hepsi biliniyordu ve hepsi karneye bağlanmıştı. Değişim, karneye bağlama kısıtının yer değiştirmesidir.
Neye mal olur
Çıkarıma sahip olmak, değişken bir faturayı sabit bir operasyonel yüke takas eder ve yük küçük değildir.
Kapasite planlama. Barındırılan bir endpoint ani yükselişleri emer. Kendi barındırdığınız bir dağıtım emmez. Zirve eşzamanlı adım sayınızı, replika başına saniyedeki token sayınızı ve artık üretim trafiğiyle yarışan değerlendirme çalışmaları için ne kadar pay ayıracağınızı bilmeniz gerekir. Yetersiz kaynak ayırırsanız gecikme tam da agent'ın en yoğun olduğu anda bozulur; fazla kaynak ayırırsanız maliyet avantajı boşta duran GPU'lara buharlaşır. Bu, gerçek sonuçları olan bir tahmin problemidir ve ortadan kalkmaz.
Nicemleme seçimleri. Mevcut donanımda kullanışlı bir iş hacmi sığdırmak için açık ağırlıklı bir modeli düşük hassasiyette çalıştırmak genellikle gereklidir. Her nicemleme seviyesi, farklı davranışa sahip farklı bir modeldir: yapılandırılmış çıktı serbest metinden önce bozulabilir ve uzun bağlam geri çağırma genellikle ilk bozulan olur. Bu seçim bir dağıtım detayı değil; herhangi biri gibi değerlendirilmesi gereken davranışsal bir değişikliktir.
Sürüm sabitleme. Barındırılan frontier modeller altınızda değişir; bu kendi başına bir problemdir, ama en azından değişim tekdüzedir. Kendi barındırdığınız bir filo tam ağırlıkları, tam sunum yığını sürümlerini ve tam nicemleme artefaktlarını sabitler. Bu size tekrarlanabilirlik verir ve bakım yükümlülüğünü de verir: güvenlik yamaları, sürücü güncellemeleri ve bir ağırlık yükseltmesini kendi eval çalışması olan bir sürüm olarak ele alma disiplini.
Heterojen filolar değerlendirmeyi karmaşıklaştırır. Tezin merkezindeki dürüst ödünleşim budur. Davranış rotaya göre farklılaştığında, tek bir toplu eval skoru yanıltıcıdır. Frontier katmanını iyileştiren bir prompt değişikliği ucuz katmanı sessizce bozabilir ve toplu skor kıpırdamayabilir. Değerlendirme rotaya göre dilimlenmeli ve rota düzeyindeki metrikler zaman içinde izlenmelidir. Koşum takımı tam da mimari daha yetenekli hale geldiği için daha karmaşık hale gelir.
Küçümsenmesi kolay bir maliyet daha vardır: yönlendirme politikasının kendisi, arıza modları olan bir bileşen haline gelir. Yanlış ayarlanmış bir zorluk sinyali zor adımları ucuz katmana gönderir; orada doğrulamada başarısız olup yükseltilirler — ya da daha kötüsü, doğrulamada başarısız olup kabul edilirler. Router'ın kendi testlerine, kendi metriklerine (yükseltme oranı, ucuz katman kabul oranı, tamamlanan görev başına maliyet) ve kendi inceleme sürecine ihtiyacı vardır.
Kısıt yer değiştirir
Açık ağırlıklı geçiş sıklıkla bir maliyet hikâyesi olarak çerçevelenir ve öyledir de. Ama kalıcı değişim mimaridir. Çıkarım pahalı ve dışsal olduğunda, model kısıttı ve orkestrasyon tesisattı. Çıkarım ucuz ve sahipli olduğunda, model bir bileşendir ve orkestrasyon kısıttır.
Bu, mühendislik çabasının nereye gitmesi gerektiğini yeniden çerçeveler. Varsayılmak yerine ölçülen yönlendirme politikalarına gider. Yapabildiği için her adımda çalışan doğrulamaya gider. Sürekli çalışacak kadar hızlı ve rotaya özgü regresyonları yakalayacak kadar ayrıntılı değerlendirme koşum takımlarına gider. Üretimi aç bırakmadan kullanımı yüksek tutan kapasite modellerine gider.
Bunların hiçbiri bedava değil. Token başına harcama yerine operasyonel dikkatle ödenen farklı bir faturadır ve ancak hacim marjinal maliyetin gerçekten önemli olacağı kadar yüksek olduğunda ödemeye değer. Düşük hacimli agent'lar için barındırılan bir endpoint doğru cevap olmaya devam eder. Hata, hacim büyüdükçe barındırılan cevabın doğru kaldığını varsaymak — ve yönlendirme problemini ancak mimari tek bir katman etrafında katılaştıktan sonra keşfetmektir.
Açık ağırlıklı ekonomiden en çok faydalanan ekipler, en büyük GPU'lara sahip olanlar değildir. Orkestrasyonu zaten ucuz çıkarımı kullanacak kadar iyi olan ve yönlendirme, doğrulama ve değerlendirmeyi konfigürasyon değil birinci sınıf mühendislik olarak ele alan ekiplerdir.