Uzun Süre Çalışan Agent'lar için Esnek Fiyatlandırma: Bir Çalışma Bir Yıl Sürdüğünde Ne Değişir

Tartışılan iddia

Satıcılar, yıllarca çalışan agent'ları ve aktiviteye göre esneyen fiyatlandırmayı anlatıyor. Çerçeve çekici: kullandığın kadar öde, boştayken küçült. Ancak bir yıl boyunca çalışan bir agent uzun bir sohbet oturumu değildir. Yaşam döngüsü olan, durum tutan bir servistir ve maliyet eğrisi, bulut ve model sağlayıcılarının şu anda sunduğu token ölçümlü modele hiç benzemez.

Pazarlamayı mühendislikten ayırmak basit bir soruyu sormak demektir: uzun bir ufukta gerçekte ne birikir? Cevap öncelikli olarak inference token'ları değildir. Kalıcı durum, periyodik uyanmalar ve bir çalışma ilk saatine gömülü varsayımlardan daha uzun yaşadığında biriken onarım işidir.

Kalıcı bellek ve vektör indeksleri

Aylar boyunca hatırlayan bir agent, trafikle değil geçmişle ölçeklenen bellek girdileri, embedding'ler ve indeks yapıları biriktirir. Kısa bir çalışmada yeniden oluşturulması ucuz olan bir vektör indeksi, bir yıllık gözlemi tuttuğunda bir depolama ve hesaplama yükümlülüğüne dönüşür. Yeniden embedding, gizli maliyettir: bir embedding modelini değiştirmek, chunking'i ayarlamak veya kaymayı onarmak çoğu zaman tüm geçmiş için vektörlerin yeniden hesaplanması anlamına gelir. Bu işlem, mevcut istek hacmiyle değil, saklanan geçmişle orantılıdır.

Aynısı episodik loglar, tool call dökümleri ve karar kayıtları için de geçerlidir. Eklemeleri ucuz, taşınmaları, budanmaları veya yeniden indekslenmeleri pahalıdır. Bir yıl boyunca baskın kalem, çoğu zaman nadiren okunan ama tutarlı kalması gereken durumun bakımıdır.

Uyanmalar ve yeniden planlama

Yapacak bir şey bulamadan saat başı uyanan bir agent yine de context birleştirme bedelini öder. Heartbeat yolu çağrı başına ucuz olabilir ama bedava değildir: son durumu yükler, koşulları kontrol eder ve yükseltme gerekip gerekmediğine karar verir. Uyanma yolu, muhakeme yoluyla aynı context penceresini paylaşıyorsa, her boş uyanma durum değişikliği üretmeyen token'lar için ödeme yapar.

Yeniden planlama diğer yinelenen maliyettir. Uzun çalışmalar değişmiş ortamlarla, süresi dolmuş kimlik bilgileriyle ve kaymış hedeflerle karşılaşır. Her yeniden plan, bellekten bir çalışma kümesinin yeniden kurulmasını gerektirir; bu da retrieval, sıralama ve prompt birleştirme demektir. Yeniden planlamanın sıklığı, agent'ın ne kadar meşgul olduğunun değil, ortamın ne kadar istikrarsız olduğunun bir fonksiyonudur.

Tool yeniden denemeleri ve mutabakat

Uzun çalışmalar kısmi başarısızlıkları biriktirir. Başarılı olan ama yanıtı kaybolan bir API çağrısı, iki kez düşen bir yazma, çalışma ortasında şema değiştiren bir alt sistem. Bunlar bir yıl boyunca nadir olaylar değildir; dağıtık sistemlerin normal arka plan oranıdır. Maliyet mutabakattır: sapmayı tespit etmek, hangi durumun yetkili olduğuna karar vermek ve onarmak.

Mutabakat işi, entegre edilen tool sayısı ve çalışmanın uzunluğuyla süperdoğrusal büyüme eğilimindedir, çünkü her yeni entegrasyon yeni bir başarısızlık modu ve yeni bir onarım yolu ekler. Kısa bir çalışma bunun çoğunu görmezden gelebilir. Bir yıl süren bir çalışma gelememez.

Ucuz heartbeat yolunu pahalı muhakeme yolundan ayır

Heartbeat, bir programa göre çalışan ve bir koşul sağlanmadıkça büyük bir modeli çağırmayan küçük, deterministik bir kontrol olmalıdır. Muhakeme, kendi bütçesine sahip, açık sinyallerle tetiklenen ayrı bir yol olmalıdır. Bu ayrım, boşta maliyeti kontrol etmenin en etkili tek yoludur, çünkü boş uyanmaların muhakeme düzeyinde context tüketmesini engeller.

Somut bir mekanizma: heartbeat kompakt bir durum özetini (birkaç kilobayt) okur ve bir kural kümesini değerlendirir. Hiçbir kural tetiklenmezse bir zaman damgası yazar ve çıkar. Yalnızca bir kural tetiklendiğinde agent tam bir çalışma kümesi birleştirir ve bir model çağırır. Ödünleşim latency'dir: heartbeat nüanslı kararlar veremez, bu yüzden bazı koşullar bir sonraki muhakeme döngüsüne kadar kaçırılır. Bu, çoğu uzun ufuklu hedef için kabul edilebilir, ama hepsi için değil.

Uyanma başına context'i sınırla ve çalışma kümesine yalnızca delta'ları al

Uzun çalışmalar ekipleri her çağrıya tüm geçmişi geçirme yoluna iter. Bu, maliyeti aktivite yerine çalışma uzunluğuyla ölçeklendirmenin en hızlı yoludur. Bunun yerine çalışma kümesini sınırla ve yalnızca delta'ları al: yeni gözlemler, değişmiş tool çıktıları ve son muhakemeden bu yana açık kararlar. Geri kalanı soğuk depolamada kalır ve talep üzerine retrieve edilir.

Ödünleşim retrieval kalitesidir. Sınırlı bir çalışma kümesi, tam geçmiş prompt'unun içereceği ilgili context'i kaçırabilir. Hafifletme, kendisi de bütçelenen bir retrieval adımıdır; çalışma kümesinin ne zaman genişletileceğine vServer rack closeup

Her çalışma için bir terminal koşulu tanımla

Son durumu olmayan bir agent bir aboneliktir. Her uzun ufuklu çalışmanın açık bir terminal koşulu olmalıdır: tamamlandı olarak işaretlenebilen bir hedef, bir son tarih veya çalışmayı durduran bir başarısızlık eşiği. Bu olmadan agent süresiz olarak uyanmaya, yeniden planlamaya ve durum biriktirmeye devam eder ve maliyet eğrisi bunu yansıtır.

Terminal koşullar fiyatlandırmayı da okunur kılar. Sonu tanımlı bir çalışma, tamamlanmış bir hedefe göre fiyatlandırılabilir. Sonu olmayan bir çalışma yalnızca zamana göre fiyatlandırılabilir; bu da tam olarak uzun ufuklu agent'ların pahalı hale getirdiği modeldir.

Neyin instrument edileceği

Tamamlanan hedef başına maliyet, token başına maliyet değil. Token maliyeti bir girdidir; hedef çıktıdır. Hedefi instrument etmek, çalışmaları karşılaştırmayı ve bir çalışmanın süresiz bakıma kayıp kaymadığını tespit etmeyi mümkün kılar.

Boşta-aktif oranı ve durum değişikliği üretmeyen uyanmaların payı. Bu iki metrik heartbeat yolunu açığa çıkarır. Yüksek bir boşta-aktif oranı mutlaka kötü değildir, ama durum değişikliği üretmeyen ve yine de muhakeme düzeyinde context tüketen uyanmaların yüksek payı, yolların ayrılmadığının açık bir işaretidir.

Hiçbir karar tarafından artık referans verilmeyen bellek girdilerini kaldıran aylık bir budama işi. Hiç okunmayan bellek, faydasız depolama maliyetidir ve gürültü ekleyerek retrieval kalitesini düşürür. Budama işi muhafazakâr olmalıdır: girdileri yalnızca hiçbir karar kaydı onlara referans vermediğinde kaldır ve kaldırmanın denetlenebilir olması için bir tombstone tut.

Buradaki ödünleşim recall'dır. Budama, gelecekteki bir kararın faydalı bulacağı context'i kaldırabilir. Hafifletme, yaşa göre değil referansa göre budamak ve tombstone'u tutmaktır; böylece bir retrieval isabetsizliği sessiz bir kayıp yerine kasıtlı bir kaldırmaya kadar izlenebilir.

Fiyatlandırma için ne değişir

Baskın maliyetler boşta durum, depolama ve yeniden planlamaysa, yalnızca aktiviteyle esneyen fiyatlandırma uzun çalışmalar için eksik, kısa olanlar için fazla ücretlendirir. Daha dürüst bir model çalışma yaşam döngüsünü izler: durumu kurmak için bir maliyet, onu sürdürmek için yinelenen bir maliyet ve sonlandırıp mutabakat sağlamak için bir maliyet. Aktivite bazlı fiyatlandırma bunun üzerine oturabilir, ama onun yerini alamaz.

Mühendislik çıkarımı şudur: uzun ufuklu agent'lar, herhangi bir durum tutan servisle aynı disiplinle tasarlanmalıdır: açık yaşam döngüsü, sınırlı çalışma kümeleri, ayrılmış sıcak ve soğuk yollar ve girdiyi değil hedefi ölçen instrumentation. Bir yıl süren bir çalışmayı okunur kılan budur ve esnek fiyatlandırmayı dekoratif olmaktan çıkarıp anlamlı kılan da budur.