Kimsenin lansmandan önce modellemediği maliyet eğrisi
Geleneksel bir servis, telemetriyi kabaca hizmet verdiği istek sayısıyla orantılı olarak üretir. Bir agent ise öyle değildir. Tek bir kullanıcı isteği bir planlama adımına, bir dizi tool call'a, bir doğrulama geçişine, bir iki yeniden denemeye ve nihai bir senteze yayılır. Bu aşamaların her biri bir span'dir; her span nitelikler, olaylar ve çoğu zaman bir payload taşır. Çarpma yapısaldır, tesadüfi değil.
Sektör raporlaması bu örüntüyü adlandırmaya başladı. Splunk'ın gözlemlenebilirlik rehberine yapılan haberler, Network World'deki daha geniş yorumlar ve Cisco'nun telemetri materyalleri aynı şekli tarif ediyor: agent güdümlü ve LLM güdümlü iş yükleri, gözlemlenebilirlik hacmini temel istek hızından daha hızlı yukarı iter ve ortaya çıkan harcamanın çoğu, tek bir görünür kalemde değil depolama, alım ve koltuk başına lisanslamada biriktiği için gizli kalır. Genel eğilim için Splunk ile ilgili haberleri, Network World tartışmasını ve Cisco'nun gözlemlenebilirlik yazılarını inceleyin.
Rahatsız edici gözlem, bu verinin çoğunun hiç okunmamasıdır. Saklanır çünkü saklama varsayılandır: tracing SDK'sı her şeyi dışa aktarır, arka uç yapılandırılmış pencere boyunca tutar ve kimse politikayı yeniden gözden geçirmez çünkü politika yoktur. Fatura daha sonra, ona neden olan karardan kopuk olarak gelir.
Agent'ların ürettiği ama servislerin üretmediği şeyler
Geleneksel istek telemetrisi küçük ve yapısaldır: bir route, bir durum kodu, bir süre. Agent telemetrisi büyük ve anlamsaldır. Hacme dört kategori hâkimdir.
Prompt ve completion payload'ları. Her model çağrısı tam giriş bağlamını ve tam üretilen çıktıyı taşıyabilir. Bunlar hata ayıklama için en faydalı kayıtlar ve saklanması en pahalı olanlardır, çünkü istek sayısıyla değil token sayısıyla ölçeklenirler.
Tool argümanları ve sonuçları. Bir tool call span'i ucuzdur; nitelikleri değildir. Argümanlar büyük yapısal nesneler olabilir ve sonuçlar tüm belgeler olabilir. Bir tool döngü içinde çağrıldığında aynı şekil tekrar tekrar üretilir.
Ara akıl yürütme adımları. Planlama trace'leri, scratchpad içeriği ve öz-eleştiri geçişleri adım başına üretilir. Bir yörünge yanlış gittiğinde gerçekten değerlidirler ve doğru gittiğinde neredeyse değersizdirler.
Yeniden deneme amplifikasyonu. Bir yeniden deneme fırtınası, maliyet-bilgi oranı için en kötü durumdur: aynı mantıksal işlem birçok kez trace edilir, her deneme span'ler, olaylar ve hata nitelikleri ekler. Span sayısı artarken marjinal bilgi sıfıra yaklaşır, çünkü ilginç olan gerçek bir yeniden deneme döngüsünün oluştuğudur, on dördüncü denemenin içeriği değil.
Ayrıca bir metadata katmanı vardır — token sayıları, model tanımlayıcıları, çağrı gecikmesi, cache-hit bayrakları — kayıt başına ucuz ve toplamda faydalıdır. Her span'de tam sadakatle, kendi başına önemli bir depolama kalemi hâline gelir.
Karar noktalarına bağlı bir örnekleme politikası
Faydalı soyutlama servis değil, span türü de değildir. Karardır. Her agent adımı ya durumu okur, ya durumu değiştirir, ya da sırada ne yapılacağına karar verir. Örnekleme bu sınıflandırmayı izlemelidir.
- Durumu değiştiren tool call'lar için tam trace'leri saklayın. Yazmalar, silmeler, ödemeler, giden mesajlar, dosya değişiklikleri. Bir olay incelemesinin tam argümanlara ve tam sonuca ihtiyaç duyacağı ve bir denetim izinin hata ayıklamanın ötesinde değer taşıdığı çağrılar bunlardır.
- Okumaları agresif şekilde örnekleyin. Retrieval, aramalar ve salt okunur API çağrıları, trace kökünde head-based örnekleme veya hata durumuna göre tail-based örnekleme ile düşük bir oranda örneklenebilir. Kaybedilen bilgi küçüktür çünkü okumalar yeniden üretilebilir.
- Yörünge düzeyinde yapısal özetleri saklayın. Tamamlanan her yörünge için kompakt bir kayıt saklayın: plan, sıralı tool adları listesi, sonuç, token toplamları, gecikme dökümü. Bu, payload'lar olmadan ne olduğunun şeklini korur.
- Ham payload'ları yalnızca başarısızlıkta saklayın. Bir yörünge hatayla, bir guardrail ihlaliyle veya kullanıcı tarafından görülen bir başarısızlıkla sonuçlandığında, tam trace'i kalıcı depolamaya yükseltin. Bu tail-based bir kuraldır ve politikadaki tek en yüksek kaldıraçlı ayardır.
- Saklamayı servise göre değil, karar sınıfına göre ayarlayın. Değiştirici bir çağrı uzun bir pencere gerektirebilir; bir okuma span'i saatler gerektirebilir. Saklamayı karar sınıfının bir özelliği olarak ifade etmek politikayı okunabilir kılar ve agent'ın davranışı değiştiğinde gözden geçirilebilir hâle getirir.
Somut bir mekanizma: her span'i üretim anında, çağıran tarafından değil tool sarmalayıcısı tarafından ayarlanan bir karar sınıfı niteliğiyle — read, mutate, decide — işaretleyin. Toplayıcı daha sonra bu niteliğe göre yönlendirir. Değiştirici span'ler uzun pencereli tam sadakatli depolamaya gider; okuma span'leri kısa pencereli örneklenmiş bir akışa gider; karar span'leri nitelikleri korur ama payload'ları düşürür. Başarısızlık yükseltmesi, bir trace'i kısa süreliğine tamponlayan ve kök span hata durumu taşıdığında tümünü ileten toplayıcının tail işlemcisi tarafından ele alınır. Agent kodu değişmez; politika sarmalayıcıda ve toplayıcı yapılandırmasında yaşar ve her ikisi de agent ile birlikte sürümlenir.
Dürüstçe ifade edilen ödünleşim
Örnekleme, olay incelemesi için mevcut kanıtı azaltır. Maliyet budur ve gerçektir. Örneklenip atılan bir okuma sonradan yeniden oluşturulamaz ve önemli olduğu ortaya çıkan başarısızlık, tail kuralının ayarlandığı başarısızlık olmayabilir.
Hafifletme, tekdüze yerine karar riskine göre örneklemektir. Tekdüze örnekleme her soruşturmayı eşit şekilde bozar; risk ağırlıklı örnekleme, hayatta kalan kanıtı bir soruşturmanın en çok ihtiyaç duyma olasılığının olduğu yerde yoğunlaştırır. Önemli olan trace'ler tam sadakatle hayatta kalır, olmayanlar özetlerle temsil edilir ve toplam metadata katmanı kapasite ve maliyet analizi için yeterince eksiksiz kalır.
Buna agent yayına girmeden önce karar verilmelidir. Çalışan bir agent'a örnekleme politikasını sonradan uyarlamak, temel çizgiyi kaybetmek demektir: eski tam sadakatli dönem ile yeni örneklenmiş dönem arasında temiz bir karşılaştırma yoktur ve değişiklikten sonraki ilk olay, değişiklikten önceki son olaydan farklı bir kanıt kümesine göre teşhis edilir. Politikayı agent ile birlikte tasarlamak — tool şemaları ve guardrail'lerin tasarlandığı gibi — ilk günden itibaren istikrarlı bir temel çizgi ve faturada keşfedilmek yerine kasıtlı olarak ayarlanabilen bir saklama duruşu sağlar.
Telemetri maliyeti, agent'ın tasarımının bir özelliğidir. Onu öyle ele alın.
