Önemli olan sayı toplam değil
Tek bir operatör için altı haneli yıllık token harcaması kutlanacak bir kilometre taşı değildir. Bu, bir sistemin artık kimsenin harmanlanmış bir ortalamadan hareketle akıl yürütemeyeceği noktayı geçtiğinin işaretidir. Bir iş yükü bu ölçeğe ulaştığında, ilginç mühendislik sorusu artık ajanların ne kadar otonomiye sahip olduğu değildir. Trafiğin hangi oranının doğru model katmanına yönlendirildiği ve bu oranın ölçülüp ölçülmediğidir.
Bu harcama seviyesindeki tek kullanıcılı bir ajan filosunun gerçekte neye benzediğini düşünün. Çağrıların çoğu ucuzdur: kısa sınıflandırma adımları, araç çağrısı argüman oluşturma, retrieval yeniden sıralama, atılacak bir araç yanıtının özetlenmesi. Küçük bir kuyruk pahalıdır: uzun ufuklu planlama, başarısız bir teste karşı kod onarımı, modelin çelişkili kanıtları bağlamda tutması gereken çok belgeli sentez. İki popülasyon arasındaki oran tasarım değişkenidir. Ucuz çağrılar pahalı katmana gönderiliyorsa, bütçe kalite kazancı olmadan şişer. Pahalı çağrılar ucuz katmana gönderiliyorsa, bütçe sağlıklı görünürken zor görevler sessizce başarısız olur.
Harmanlanmış ortalama her iki başarısızlığı da gizler. İstek başına ortalama maliyet, filonun aşırı kaynaklandırılıp kaynaklandırılmadığı hakkında hiçbir şey söylemez, çünkü az sayıda çok pahalı doğru çağrı ile çok sayıda çok pahalı gereksiz çağrı aynı ortalamayı üretir. İhtiyacınız olan şey görev başına maliyet dağılımıdır: tamamlanan görevler arasında harcamanın şekli, görev sınıfına göre ayrılmış. İnce bir başı ve ağır bir kuyruğu olan bir dağılım, işini yapan bir sistemdir — ucuz işler ucuz modellerde, zor işler yükseltilerek. Hiç kuyruğu olmayan bir dağılım şüphelidir. Bu genellikle zor görevlerin ucuza çözülmediği, tamamlanmadan bırakıldığı, kesildiği veya terk edildiği ve harcama eğrisinin yalnızca dönen çağrıları saydığı anlamına gelir.
Bu ayrım — tamamlanan ile denenen — çoğu token panosunun çöktüğü yerdir. İstek başına token raporlarlar çünkü API'nin döndürdüğü budur. Bütçenizi yöneten sayı tamamlanan görev başına tokendır ve ikisi arasındaki fark başarısızlığın maliyetidir.
Yönlendirme, gecikme bütçesi olan bir sınıflandırıcıdır
İyi inşa edilmiş bir filodaki her istek, pahalı çağrı başlamadan önce ucuz bir ön sınıflandırıcıdan geçer. Bu sınıflandırıcı tek bir soruyu yanıtlar: bu görev hangi model katmanına ihtiyaç duyar? Küçük bir model, bir kurallar katmanı veya etiketlenmiş geçmiş görevler kümesine karşı hafif bir embedding karşılaştırması üzerinde çalışır. Görevi, yönlendirme kararını kararın kendisi bir satır kalemi haline gelmeyecek kadar ucuza vermektir.
Sınıflandırıcının maliyet bütçesinin yanı sıra bir gecikme bütçesi de vardır. Ön sınıflandırma kullanıcının hissettiği gidiş-dönüşler eklerse, operatörler onu devre dışı bırakır ve her şeyi varsayılan olarak büyük modele yönlendirir. Yönlendirme politikalarının en yaygın ölüm şekli budur: kötü sınıflandırma yüzünden değil, doğru yolu tutmayı çok yavaş hale getiren gecikme yüzünden.
Yanlış yönlendirmeler iki yönde gelir ve simetrik değildir.
- Yukarı yanlış yönlendirme bir maliyet olayıdır. Küçük bir modelin halledebileceği bir görev büyük modele gider. Kalite iyidir; bütçe hatayı emer. Bunları geriye dönük olarak görevi daha ucuz katmana karşı yeniden oynatarak tespit etmek ucuzdur.
- Aşağı yanlış yönlendirme bir kalite olayıdır. Büyük modele ihtiyaç duyan bir görev, küçük modelden kendinden emin, makul ve yanlış bir yanıt alır. Bunları tespit etmek pahalıdır çünkü başarısızlık sessizdir ve bir ajan yanlış çıktı üzerine hareket ettiğinde birikir.
İkisinin ayrı metrikleri olmalıdır. Tek bir "yönlendirme doğruluğu" rakamı, hiç yükseltme yapmayan bir filonun doğru yükseltme yapan bir filo kadar iyi görünmesini sağlar. Yukarı yanlış yönlendirme oranını maliyet oranı, aşağı yanlış yönlendirme oranını görev başarısızlık oranı olarak izleyin ve bunları asla tek bir sayıda ortalamayın.
Sınıflandırıcının kendisi, ajanların gördüğü aynı görev dağılımı üzerinde değerlendirilmelidir. Bozulan kısım burasıdır. Geçen çeyreğin trafiği üzerinde eğitilmiş bir sınıflandırıcı, iş yükü değiştikçe kayar — yeni araçlar, yeni belge türleri, yeni kullanıcı niyetleri. Kayma toplam harcamada görünmez çünkü toplam başka nedenlerle hareket etmeye devam eder. Pratik çözüm, son gerçek trafiğin ayrılmış bir dilimini bir programa göre sınıflandırıcıdan geçirip yönlendirme kararını pahalı katmanın üreteceği şeyle karşılaştırmaktır. Bu yeniden oynatma, politikanın hâlâ geçerli olup olmadığının tek dürüst ölçüsüdür. Ajan değerlendirmesi ve maliyet bilinçli dağıtım üzerine ilgili çalışmalar, benchmark puanları yerine dağılıma uygun testi vurgulamaya devam ediyor, ki bu doğru içgüdüdür — bir benchmark size sınıflandırıcının sınıflandırabildiğini söyler, trafiğinizi sınıflandırdığını değil.
Neyin enstrümante edileceği
Bu ölçekteki bir filo için enstrümantasyonun üç vazgeçilmezi vardır.
Tokenları istek başına değil, tamamlanan görev başına günlüğe kaydedin. Her çalıştırmayı bir tamamlanma durumuyla etiketleyin ve harcamayı yalnızca tanımlı bir terminal duruma ulaşan çalıştırmalar üzerinden toplayın. Tamamlanmamış çalıştırmalar — zaman aşımları, araç döngüleri, terk edilmiş planlar — pahalı olanlardır ve istek başına ortalamalardan kaybolurlar çünkü her bir çağrı normal görünüyordu. On iki adım boyunca büyük bir bağlamı tüketip sonra başarısız olan bir çalıştırma, sistemdeki en pahalı nesnedir ve çoğu pano bunu göremez.
Yükseltme oranını izleyin. Bir çalıştırma görev ortasında küçük bir modelden büyük bir modele ne sıklıkla geçer? Yükseltme, agresif aşağı yönlendirmeyi savunulabilir kılan emniyet valfidir. Düşük yükseltme oranı ile yüksek aşağı yanlış yönlendirme oranı, valfin sıkıştığı anlamına gelir. Yüksek yükseltme oranı, ön sınıflandırıcının eksik çağrı yaptığı ve filonun birinin yapacağı yerde iki deneme için ödeme yaptığı anlamına gelir. Oranın kendisi bir yönlendirme sağlığı sinyalidir, en aza indirilecek bir maliyet değil.
Önbellek isabet oranını bir yönlendirme girdisi olarak ele alın. Prompt önbellekleme genellikle model seçiminden ayrı olarak altyapı optimizasyonu altında sınıflandırılır. Öyle olmamalıdır. Bir görev sınıfının kararlı önekinde yüksek önbellek isabet oranı varsa, büyük modelin etkin maliyeti düşer ve yönlendirme eşiği hareket etmelidir. Önbellek durumunu göz ardı eden bir politika, pahalı katmanın yeniden kullanımla zaten indirimli olduğu iş yüklerinde tam da ucuz katmana aşırı yönlendirme yapar. İsabet oranını aylık bir rapora değil, yönlendirme kararına dahil edin.
Kural
Görev sınıfına göre ayrıştıramadığınız bir bütçe, bir incelemede savunamayacağınız bir bütçedir. Biri harcamanın neden bu olduğunu sorduğunda, "ajanlar meşgul" bir yanıt değildir. "Tamamlanan görevlerin yüzde altmışı B sınıfıdır ve küçük katmanda istikrarlı bir maliyetle çalışır; kuyruk D sınıfı planlama çalıştırmalarıdır ve işte o kuyruktaki yükseltme oranı ve aşağı yanlış yönlendirme oranı" bir yanıttır.
İşletme kuralı kısadır: görev sınıfına göre yönlendir, tamamlanmaya göre kapı tut, kuyruğu aylık denetle.
- Görev sınıfına göre yönlendir. Sınıfları açıkça tanımlayın, her birini bir katmana eşleyin ve sınıflandırıcıyı son trafiğe karşı değerlendirilmiş tutun.
- Tamamlanmaya göre kapı tut. Harcamayı yalnızca biten çalıştırmalarda sayın. Başarısızlık maliyeti bir yönlendirme sinyalidir, genel gider değil.
- Kuyruğu aylık denetle. En pahalı tamamlanmış görevleri daha ucuz katmana karşı yeniden oynatın. Yeniden oynatmadan sağ çıkan her görev bir yukarı yanlış yönlendirmedir ve toplam, size açık olan düzeltmenin boyutudur.
Dürüst ödünleşim, bu mekanizmanın mühendislik zamanına mal olması ve her çağrının önüne gecikme getiren bir bileşen eklemesidir. Her şeyi tek bir büyük modele yönlendiren bir ekip daha hızlı sevk eder ve küçük iş yükleri için daha az dikkat harcar. Bu ödünleşim, tek bir operatörün harcaması altı haneye ulaştığı noktada savunulabilir olmaktan çıkar — para mutlak anlamda büyük olduğu için değil, o ölçekte sistemin çoğu için tek bir katmanın kanıtlanabilir şekilde yanlış olduğu kadar görev çeşitliliğine sahip olduğu için. Bütçe bir gösteriş değildir. Bir politikadır ve politikalar denetlenebilir.