Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Agent Ticareti Bir Vitrin Sorunu Değil, Bir Delegasyon Grameri Sorunudur
Walmart ve Amazon botlar konusunda tartışmıyor. Bir alışverişçinin yetkisinin ödeme anında nasıl ifade edildiği, sınırlandırıldığı ve kanıtlandığı sorusuna farklı yanıtlar veriyorlar.
Karar Modelleri Zaten Yazdığınız Politikayı Sıkıştırır; Politikayı Yazmazlar
Küçük karar modelleri, mevcut bir politika yüzeyi üzerinde gecikme ve maliyet optimizasyonudur. Onları politikanın tanımlandığı yer olarak görmek; inceleme, kompozisyon ve güvenlik sonuçları doğuran bir kategori hatasıdır.
Yargıç Bir Bileşendir: LLM-as-Judge Pipeline'larını Diğer Bağımlılıklar Gibi Sürümleyin
LLM-as-judge yalnızca yargıç modeli, prompt, rubrik ve decoding parametreleri sabitlendiğinde ve birinci sınıf bir artefakt olarak regresyon testine tabi tutulduğunda güvenilirdir.
Dayanıklı Yürütme, Uzun Süreli Ajanlar için Gerçek Altyapı Gereksinimidir
Dayanıklı yürütme etrafındaki fonksiyon ve ürün hamleleri, ajan altyapısındaki asıl zor probleme işaret ediyor: saatler ve harici yan etkiler boyunca süren çalışmalar için deterministik yeniden oynatma ve idempotent etkiler.
Ret, Bir Model Özelliği Değil, Bir Yönlendirme Kararıdır
Agent'ın yetkisini aşması genellikle modelin yukarısında eksik bir yetkilendirme kararıdır. Güvenlik yalnızca alignment eğitiminde değil, istek yolunda yer alır.
Agent Sürüleri Paylaşılan Bir Veritabanına Değil, Bir Keşif Sözleşmesine İhtiyaç Duyar
Sürü ölçeğinde zor olan problem, olguların nasıl adlandırılacağı, sürümleneceği ve kullanımdan kaldırılacağı konusunda uzlaşmaktır. Bir keşif sözleşmesi, herhangi bir paylaşılan depodan önce gelmelidir.
Benchmark Kirlenmesi Bir Veri Hattı Hatasıdır: Eval Setlerini Kod Gibi Sürümleyin
Model zayıflığına bağlanan agent değerlendirme başarısızlıkları çoğu zaman eval-set hijyeni başarısızlıklarıdır. Eval korpusları da eğitim verisiyle aynı köken, sürümleme ve erişim kontrollerine ihtiyaç duyar.
İnsan Konsiyerj Bir Özellik Değil, Yedek Yoldur
Agent hatalarını bir insana yönlendirmek ancak eskalasyon sözleşmesi açık olduğunda işe yarar: hangi durum devrediliyor, operatör neyi değiştirebilir ve düzeltme agent'a nasıl geri döner.
Uzun Ufuklu İşleme, Bağlam Yönetimini Bir Çizelgeleme Problemine Dönüştürüyor
Daha büyük bir bağlam penceresi sınırı ortadan kaldırmaz; bağlam derlemeyi neyin, ne zaman ve hangi maliyetle yükleneceğine dair bir çizelgeleme kararına dönüştürür.