Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Egress Defterleri: Bir Ajanın Ne Gönderdiğini Değil, Nereye Gittiğini Kaydetmek
İçerik denetimi yükleri görür, hedefleri değil. Bir egress defteri, bir ajanın nereye gittiğini, hangi sırayla gittiğini ve her sıçramanın ne kadar yeni olduğunu kaydeder.
Dayanıklı Yürütme, Dayanıklı Akıl Yürütme Değildir: Agent Durumunu Niyeti Kaybetmeden Checkpoint'lemek
Bir agent'ın adım indeksini kalıcı hale getirmek, görev durumunu kalıcı hale getirmek değildir. Yürütmeyi checkpoint'leyip niyeti checkpoint'lemeyen sistemler, akıcı ama tutarsız çalışmalara geri döner.
Yargıç Bir Bileşendir: LLM-as-Judge Pipeline'larını Diğer Bağımlılıklar Gibi Sürümleyin
LLM-as-judge yalnızca yargıç modeli, prompt, rubrik ve decoding parametreleri sabitlendiğinde ve birinci sınıf bir artefakt olarak regresyon testine tabi tutulduğunda güvenilirdir.
Agent Değerlendirmeleri Olay Yeniden Oynatmalarıdır: Üretim İzlerinden Bir Regresyon Külliyatı Oluşturmak
Agent değerlendirme setleri, hayal edilen görevlerden yazılmak yerine yakalanan üretim yörüngelerinden ve olay yeniden oynatmalarından büyütülmelidir; çünkü önemli olan arızalar tasarlanmaz, keşfedilir.
Dayanıklı Yürütme, Uzun Süreli Ajanlar için Gerçek Altyapı Gereksinimidir
Dayanıklı yürütme etrafındaki fonksiyon ve ürün hamleleri, ajan altyapısındaki asıl zor probleme işaret ediyor: saatler ve harici yan etkiler boyunca süren çalışmalar için deterministik yeniden oynatma ve idempotent etkiler.
Kodlama Ajanları Prompt'lardan Değil, Repository'lerden Sızıyor
Kodlama ajanları aracılığıyla 13.000 dahili görselin açığa çıkması, bir repository hijyeni ve ajan kapsamı başarısızlığıdır: ajanlar bir checkout'un tüm geçmişini ve gizli yüzeyini devralır, dolayısıyla containment birimi talimat değil, repository sınırıdır.
Agent Olayları, Politika Sorunu Olmadan Önce Bir Telemetri Sorunudur
Başıboş agent raporları, ancak olaydan sonra görünür hale gelen kontrol arızalarını tanımlıyor. İlk düzeltme; niyet, egress ve kararın kalıcı bir kaydıdır.
Alışveriş Ajanları İndirim Katmanına Değil, Mutabakat Katmanına İhtiyaç Duyar
Ajan ticareti; alım-satım, ödeme ve ölçümlü API'ler üzerinden geliyor. Eksik parça, hangi ajanın hangi yetkiyle hareket ettiğini ve zararı kimin üstlendiğini kaydeden bir mutabakat ve ihtilaf katmanı.
Checkout Bir Tool Call Değildir: Browser Agent'ları Ticari Yetkilendirmeyi Neden Kırar
Browser agent'ları checkout akışlarını yürütebilir, ancak bir satın alma bir rıza olayıdır. Bu makale, kapsamlı harcama kimlik bilgileri ve agent'a yönelik bir checkout sözleşmesi için argüman sunuyor.