Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Bir LLM Yargıcı Sürümlenmiş Bir Bağımlılıktır: Karşılaştırılabilirliği Kaybetmeden Maliyet Düşüren Değerlendirme Hatları
Daha ucuz bir LLM yargıcı, ancak diğer bağımlılıklar gibi sürümlenmiş, sabitlenmiş ve regresyon testinden geçirilmişse sağlamdır; aksi takdirde tasarrufun bedeli, çalıştırmalar arası karşılaştırılabilirliğin kaybıyla ödenir.
Yargıç Bir Bileşendir: LLM-as-Judge Pipeline'larını Diğer Bağımlılıklar Gibi Sürümleyin
LLM-as-judge yalnızca yargıç modeli, prompt, rubrik ve decoding parametreleri sabitlendiğinde ve birinci sınıf bir artefakt olarak regresyon testine tabi tutulduğunda güvenilirdir.
Agent Değerlendirmeleri Olay Yeniden Oynatmalarıdır: Üretim İzlerinden Bir Regresyon Külliyatı Oluşturmak
Agent değerlendirme setleri, hayal edilen görevlerden yazılmak yerine yakalanan üretim yörüngelerinden ve olay yeniden oynatmalarından büyütülmelidir; çünkü önemli olan arızalar tasarlanmaz, keşfedilir.
Model Yönlendirme, Bir Optimizasyon Problemi Olmadan Önce Bir Değerlendirme Problemidir
Modeller arasında yönlendirme ancak yönlendirici, yalnızca token başına maliyetle değil, sabit bir değerlendirme seti altında görev düzeyindeki sonuçlara göre yargılandığında karşılığını verir.
Kırılan Benchmark: Eval Harness'ları Neden Kendi Regresyon Testlerine İhtiyaç Duyar
27 modelli bir benchmark çalışması, hatanın kaynağı olarak modelleri değil harness'ı ortaya çıkardı. Eval kodu production yazılımıdır: sürümleyin, canary ile test edin ve bilinen cevaplara karşı doğrulayın.
Agent Arıza Taksonomisi: Çok Adımlı Sistemlerin Bozulma Yollarını Adlandırmak
Agent arıza modları için ortak bir sözlük, olay incelemelerini anekdottan model, araç, orkestrasyon ve veri katmanlarında sayılabilir, regresyon testine tabi tutulabilir sinyallere dönüştürür.