Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Bir LLM Yargıcı Sürümlenmiş Bir Bağımlılıktır: Karşılaştırılabilirliği Kaybetmeden Maliyet Düşüren Değerlendirme Hatları
Daha ucuz bir LLM yargıcı, ancak diğer bağımlılıklar gibi sürümlenmiş, sabitlenmiş ve regresyon testinden geçirilmişse sağlamdır; aksi takdirde tasarrufun bedeli, çalıştırmalar arası karşılaştırılabilirliğin kaybıyla ödenir.
Kırılan Benchmark: Eval Harness'ları Neden Kendi Regresyon Testlerine İhtiyaç Duyar
27 modelli bir benchmark çalışması, hatanın kaynağı olarak modelleri değil harness'ı ortaya çıkardı. Eval kodu production yazılımıdır: sürümleyin, canary ile test edin ve bilinen cevaplara karşı doğrulayın.
Benchmark Kirlenmesi Bir Veri Hattı Hatasıdır: Eval Setlerini Kod Gibi Sürümleyin
Model zayıflığına bağlanan agent değerlendirme başarısızlıkları çoğu zaman eval-set hijyeni başarısızlıklarıdır. Eval korpusları da eğitim verisiyle aynı köken, sürümleme ve erişim kontrollerine ihtiyaç duyar.