Yanlış okuma
Bir modelin bağlam penceresi büyüdüğünde, içgüdü sınırı çözülmüş saymaktır. Pencere bir kovaya dönüşür: her şeyi içine koy, model halletsin. Bu, pencerenin ne için olduğuna dair bir yanlış okumadır. Bir pencere, retrieval disiplininin yerini tutmaz; farklı bir şekle sahip bir bütçedir.
İlgisiz geçmiş üzerindeki attention nötr değildir. Mevcut ama ilgisiz olan her token, attention ağırlığı için rekabet eder ve sinyalin gürültüye oranı düştükçe modelin karar kalitesi bozulur. Etki keskin bir uçurum değil; bir eğimdir. Sıkı bir bağlamla doğru olacak bir çalıştırma, aynı sorgu ilgisiz artefaktlarla doldurulduğunda kulağa makul gelen ama yanlış bir hale gelir. Arıza modu sessizdir: model hâlâ akıcı çıktı üretir, dolayısıyla bozulma yalnızca çıktı ground truth ile karşılaştırıldığında görünür olur.
Bağlamı çizelgelemek
Yeniden çerçeveleme basittir: bağlam derleme bir çizelgeleme problemidir. Soru "ne kadarını sığdırabiliriz" değil, "mevcut adım neye ihtiyaç duyuyor ve buna ne zaman ihtiyaç duyuyor"dur. Bir çizelgeleyici neyin yükleneceğine, ne zaman yükleneceğine ve neyin çıkarılacağına karar verir. Bir agent çalıştırmasına uygulandığında bu, çalıştırmayı her biri açık bir bağlam sözleşmesine sahip aşamalara ayırmak anlamına gelir.
Yalnızca mevcut adımın ihtiyaç duyduğunu yükle
Bir adım, gerektirdiği artefaktları almalı ve başka hiçbir şeyi almamalıdır. Pratikte bu, bağlam oluşturucunun bir birleştirici değil, manifestosu olan bir seçici olduğu anlamına gelir. Her adım girdilerini bildirir: bir şema, bir retrieval sorgusu, bir dizi önceki tool sonucu, planın bir dilimi. Oluşturucu bu bildirimleri çalıştırmanın durum deposuna karşı çözer ve sözleşmeyi karşılayan en küçük bağlamı derler.
Somut bir mekanizma: tiplenmiş girdileri olan adım başına bir bağlam manifestosu.
{
"step": "reconcile_invoice",
"requires": [
{"type": "artefact", "id": "invoice_4417", "max_tokens": 1200},
{"type": "tool_result", "id": "ledger_lookup", "freshness": "current"},
{"type": "policy", "id": "ap_policy_v3", "pinned": true}
],
"excludes": ["chat_history_older_than_phase", "raw_pdf_bytes"]
}
Oluşturucu bu manifestoyu çözer, bütçesini aşan artefaktları kısaltır ve neyi yüklediğini kaydeder. Kaydı tutan şey çalıştırmayı denetlenebilir kılar: bir adım yanlış bir yanıt ürettiğinde ilk soru, gerekli artefaktın mevcut olup olmadığıdır, modelin yetenekli olup olmadığı değil.
Açıkça terfi ettir ve düşür
Uzun çalıştırmalar bağlamı varsayılan olarak biriktirme eğilimindedir. Her aşama çıktısını ekler ve pencere çalıştırmanın kendi geçmişiyle dolar. Alternatif, aşamalar arasında açık terfi ve düşürmedir. Bir aşama sınırında çalıştırma bir özet artefaktı yazar ve özetlediği ham malzemeyi düşürür. Sonraki aşama transkriptten değil, özetten başlar.
Bu, maliyeti olan bir çizelgeleme kararıdır. Özetler ayrıntı kaybeder; düşürülen bir artefakta daha sonra ihtiyaç duyulabilir ve onu yeniden getirmek bir tool call ve latency maliyeti doğurur. Ödünleşim gerçektir: agresif düşürme bağlamı sıkı tutar ama önemli olan bir ayrıntıyı kaybetme riski taşır. Hafifletme yolu her şeyi tutmak değil, düşürmeyi geri döndürülebilir kılmaktır. Düşürülen artefaktlar çalıştırmanın deposunda kalır, indekslenir ve erişilebilir olur; böylece sonraki bir adım onları talep üzerine geri terfi ettirebilir. Pencere çalışma kümesini tutar; depo arşivi tutar.
Uzun bir çalıştırma devam edebilsin diye durumu checkpoint'le
Devam edemeyen uzun ufuklu bir çalıştırma, herhangi bir kesintiden sonra tüm geçmişini yeniden oynatmak zorunda olan uzun ufuklu bir çalıştırmadır. Bu yeniden oynatma pahalıdır ve daha kötüsü, çizelgeleyicinin önlemek için inşa edildiği gürültüyü yeniden getirir. Aşama sınırlarında durumu checkpoint'lemek, çalıştırmanın süresini bağlam boyutundan ayırır.
Bir checkpoint, transkript olmadan devam etmeye yetecek kadarını yakalamalıdır: plan ve mevcut konumu, şu ana kadar üretilen artefaktlar (değerle değil, referansla), geçerliliğini koruyan tool sonuçları ve tamamlanan her adımın neyi tükettiğine dair manifesto. Devam edildiğinde çizelgeleyici, mevcut adımın bağlamını checkpoint'ten ve adımın manifestosunun gerektirdiklerinden yeniden kurar. Çalıştırmanın geçmişi denetim için erişilebilir ka
edia/server-rack-closeup-dark-d40599-0ca2dd.jpg)
Çizelgeleme çerçevelemesinin karşılığını verdiği yer burasıdır. Checkpoint'ler olmadan uzun bir çalıştırmanın bağlamı, uzunluğunun bir fonksiyonudur. Checkpoint'lerle bağlam, mevcut adımın sözleşmesinin bir fonksiyonudur ve uzunluk, pencerenin değil deponun bir özelliği haline gelir.
Değerlendirme sonucu
Bağlam çizelgeleniyorsa, tek bir toplu başarı sayısı yanlış değerlendirme birimidir. Ufuk 5'te başarılı olup ufuk 50'de başarısız olan bir çalıştırma %90'lık bir sistem değildir; ufka bağlı bir arıza profili olan bir sistemdir. Toplu sayı, şekli gizler.
Değerlendirme, başarıyı ufuk uzunluğunun bir fonksiyonu olarak raporlamalıdır. Somut olarak: ufku adımlar veya tool call'lar cinsinden tanımlayın, aynı görev ailesini artan ufuklarda çalıştırın ve eğriyi raporlayın. Başarı nerede tutuyor, nerede bükülüyor ve bükülme noktasında ne değişiyor? Düz giden ve belirli bir ufukta düşen bir eğri, bir çizelgeleme arızasına işaret eder: gerekli bir artefaktın düşürüldüğü bir aşama sınırı, bir alanı atlayan bir checkpoint, girdilerini eksik belirten bir manifesto.
Bu aynı zamanda ödünleşimleri görünür kılar. Daha agresif bir düşürme politikası adım başına maliyeti iyileştirirken bükülmeyi öne çekebilir. Daha müsamahakâr bir yükleme politikası ufku uzatırken harcamayı artırabilir. Tek başına hiçbiri yanlış değildir; hangisine sahip olduğunuzu size söyleyen şey eğridir.
Aynı disiplin kaynak malzeme için de geçerlidir. Uzun ufuklu yetenek hakkındaki iddialar, bir nokta hakkında değil bir eğri hakkındaki iddialar olarak okunmalıdır. Uzun ufuklu bir görev için tek bir sayı raporlayan bir sistem, karakterize etmediği bir dağılımın ortalamasını raporluyordur ve o dağılımın ilginç kısmı kuyruğudur.
Bu pratikte neyi değiştirir
Bağlamı bir çizelgeleme problemi olarak ele almak, bir agent kod tabanında üç şeyi değiştirir. Bağlam oluşturucu, bir birleştirici değil, manifestosu olan bir seçici haline gelir. Aşama sınırları, düşürmeyi geri döndürülebilir kılan bir depoyla birlikte açık terfi ve düşürme noktaları haline gelir. Çalıştırma durumu checkpoint'lenir, böylece devam etmek yeniden oynatmak anlamına gelmez.
Bunların hiçbiri bağlam sınırını ortadan kaldırmaz. Sınırın neyi kısıtladığını değiştirir. Bir çalıştırmanın ne kadar uzun olabileceğini kısıtlamak yerine, çizelgeleyicinin bağlamı adımla ne kadar iyi eşleştirdiğini kısıtlar. Bu daha çözülebilir bir problemdir ve uzun ufuklu işlemenin gerçekte ortaya koyduğu problem de budur.