Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Benchmark'lar Sorunsuz; Sorun, Sürümünü Yönetmediğiniz Harness
Bir liderlik tablosu puanı; model, araç şemaları, yeniden deneme politikası ve çalışma zamanı limitlerinin ortak sonucudur. Harness'ı yayınlamıyorsanız sayının hiçbir anlamı yok.
Kırılan Benchmark: Eval Harness'ları Neden Kendi Regresyon Testlerine İhtiyaç Duyar
27 modelli bir benchmark çalışması, hatanın kaynağı olarak modelleri değil harness'ı ortaya çıkardı. Eval kodu production yazılımıdır: sürümleyin, canary ile test edin ve bilinen cevaplara karşı doğrulayın.
Co-Scientist Ajanları Sohbet Kaydı Değil, İddia Defteri Gerektirir
Konuşma dökümleri bilimsel bir kayıt değildir. Araştırma ajanları kanıt bağlantıları ve açık güven değerleriyle yapılandırılmış, denetlenebilir iddialar üretmelidir.
Ajanları Yanıtlar Üzerinden Değil, Yörüngeler Üzerinden Değerlendirmek: Bir Benchmark Tasarım Notu
Yalnızca nihai çıktıları puanlayan benchmark'lar, doğru yanıtlara güvenli olmayan veya yeniden üretilemeyen yollardan ulaşan ajanları ödüllendirir. Yörünge farkındalıklı puanlama bunu düzeltir.