Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Keşif Aracı Olarak Agent Filoları: Patch the Planet'in Ardındaki Değerlendirme Problemi
Agent filoları, değerlendirme sorusunu agent başına kesinlikten, yanlış pozitif bütçesi altında hesaplama-saati başına verime dönüştürür. Çoğu agent benchmark'ı bunu ölçmez.
Deterministik Olmayanı İzlemek: Concordance ve DeepEval'in Agent Değerlendirmesi Hakkında Ortaya Koydukları
Tutarsız agent kararları genellikle eksik girdi sorunudur. Değerlendirme, çıktıları sonradan puanlamak yerine tam karar bağlamını kaydetmeli ve yeniden oynatmalıdır.
Eval Set'ler Çürür: Sadece Modeli Değil, Harness'ı da Sürümleyin
Testlerini ezberleyen kendi kendini geliştiren agent'lar bir pipeline kusurunu ortaya çıkarır: eval set'ler, kodla aynı yaşam döngüsü yükümlülüklerine sahip veri artefaktlarıdır.
Benchmark'lar Sorunsuz; Sorun, Sürümünü Yönetmediğiniz Harness
Bir liderlik tablosu puanı; model, araç şemaları, yeniden deneme politikası ve çalışma zamanı limitlerinin ortak sonucudur. Harness'ı yayınlamıyorsanız sayının hiçbir anlamı yok.
8,3x Kullanım Açığı Bir Lisanslama Sorunu Değil, İş Akışı Uyumu Sorunudur
Geniş dağıtımın dar kullanıma karşı olması, hiç kapsamlandırılmadıkları iş akışlarına bağlanan agent'lara işaret eder. Çözüm, model seçiminden önce iş akışı ayrıştırmasıdır.
Agent Değerlendirmeleri Olay Yeniden Oynatmalarıdır: Üretim İzlerinden Bir Regresyon Külliyatı Oluşturmak
Agent değerlendirme setleri, hayal edilen görevlerden yazılmak yerine yakalanan üretim yörüngelerinden ve olay yeniden oynatmalarından büyütülmelidir; çünkü önemli olan arızalar tasarlanmaz, keşfedilir.
Bir LLM Ajan Sürüsünü Ölçeklerken Aslında Ne Bozulur
Çok ajanlı sistemler, model yeteneğinden çok koordinasyon mekaniği nedeniyle başarısız olur. Paylaşılan duruma, devir protokollerine ve paralelliğin ödünleşimlerine bir bakış.
Modeli Sorgulamak Bir İnceleme Yöntemidir, Bir Kişilik Özelliği Değil
Agent çıktısını kabul edilecek bir sonuç değil, sorgulanacak bir iddia olarak ele almak, ekiplerin kurumsallaştırabileceği tekrarlanabilir bir değerlendirme pratiğidir.
Benchmark Kirlenmesi Bir Veri Hattı Hatasıdır: Eval Setlerini Kod Gibi Sürümleyin
Model zayıflığına bağlanan agent değerlendirme başarısızlıkları çoğu zaman eval-set hijyeni başarısızlıklarıdır. Eval korpusları da eğitim verisiyle aynı köken, sürümleme ve erişim kontrollerine ihtiyaç duyar.