Bir puan aslında neyi ölçer
Bir benchmark çalıştırması, bir modelin ölçümü değildir. En az dört şey üzerindeki ortak dağılımdan alınmış bir örnektir: model ağırlıkları ve decoding ayarları, modele verilen araç tanımları, modelin altında çalıştığı çalışma zamanı limitleri ve bu araçların eriştiği ortam. Bunlardan herhangi birini değiştirin, sayı değişir. Yayınlanan liderlik tablolarının çoğu ilkini sabitler ve gerisini örtük bırakır; bu yüzden iki laboratuvar aynı benchmark'ı aynı modelle raporlayıp, karşılaştırılan modeller arasındaki farkı gölgede bırakan bir marjla anlaşamaz.
Bu, benchmark tasarımına yönelik bir şikayet değil. Benchmark'lar büyük ölçüde sorunsuz. Sorun şu ki, bir modeli agent'a dönüştüren iskelet olan harness, bir uygulama detayı olarak görülüyor; oysa agent'ın neyi deneyebileceğine karar veren bağımsız değişken tam da odur. Dört adımda plan yapan bir model ile yirmi adım boyunca çırpınan bir model, yirmi beş adımlık bir üst sınır ve beşlik bir yeniden deneme bütçesi altında ayırt edilemez. Harness, model sorulmadan önce soruyu zaten yanıtlamıştır.
Harness'ı artefaktın bir parçası olarak ele alın. Bir eval kaydı; araç şemalarını hash ile, çalışma zamanı imajını digest ile, yeniden deneme sayısını, adım üst sınırını, duvar saati ve token bütçelerini ve sandbox ağ politikasını sabitlemelidir. Bu alanlar olmadan puan, ondalık noktası olan bir söylentidir.
Harness'ın gizlediği hata modları
Cömert adım limitleri, planlamaya karşı kaba kuvvet yeniden denemeleri ödüllendirir. Bir agent aynı arama aracını hafifçe farklı sorgularla on bir kez çağırabiliyorsa, hiç plan yapmayan bir model yine de yanıta ulaşır ve bir kez plan yapıp temiz uygulayan bir modelle aynı görünür. Üst sınırı dört adıma indirin, sıralama tersine döner. İki yapılandırma da yanlış değil; ikisi de meşru ürünler. Ancak tek bir yayınlanmış sayı ikisini birden temsil edemez ve okuyucular bunun kendi yapılandırmalarını temsil ettiğini varsayar.
Karşıt hata da bir o kadar sessizdir. Sıkı limitler, iyi toparlanan modelleri cezalandırır. Bozuk bir araç yanıtını tespit edip argümanlarını onaran ve ikinci denemede başarılı olan bir agent, üretim sistemlerinin tam olarak ihtiyaç duyduğu işi yapıyordur ve ilk seferde doğru yapan bir modelden daha yavaş ve daha pahalı olarak puanlanıyordur. Yeniden deneme politikası yayınlanmazsa, okuyucu puanın yetkinliği mi yoksa şansı mı ödüllendirdiğini anlayamaz.
Sandbox ağ politikası, en sonuç doğuran görünmez ayardır. Egress devre dışıyken yapılan bir çalıştırma, araç kullanımını değil, araçlar hakkında planlama ve akıl yürütmeyi ölçer. Egress etkinken yapılan bir çalıştırma, modelin gerçek gecikme, kısmi hatalar ve tutarsız şemalarla başa çıkıp çıkamadığını ölçer. Bunlar farklı ürünlerdir. Bir satıcı ağ politikasını belirtmeden bir araç kullanım puanı raporladığında, okuyucunun ikisinden hangisinin ölçüldüğünü bilmesinin hiçbir yolu yoktur ve ikisi karşılaştırılabilir değildir.
Deterministik araç stub'ları ilgili bir tuzaktır. Bir arama API'sini sabit bir belge döndürecek şekilde stub'lamak, üretim agent'larının gerçekte karşılaştığı belirsizliği ortadan kaldırır: kesilmiş sonuçlar, bayat indeksler, hız limitleri, şema kayması. Bir stub, eval'ı yeniden üretilebilir kılar; bu değerlidir ve onu temsil edici olmaktan çıkarır; bu da sessizce yutmak yerine açıkça belirtmeniz gereken ödünleşimdir. Dürüst tutum ikisini de çalıştırmaktır: regresyon tespiti için stub'lanmış bir suite ve yetenek iddiaları için canlı bir suite; her birine harness manifestosu eklenmiş olarak ayrı sayılar halinde yayınlanır.
Eval sonuçları için bir yayın sözleşmesi
Bir puan alıntılanacaksa, onu üreten koşullarla birlikte gelmelidir. Uygulanabilir bir sözleşmenin dört parçası vardır.
Harness manifestosunu puanla birlikte gönderin. En azından: araç şeması hash'leri, çalışma zamanı imaj digest'i, adım ve süre bütçeleri, yeniden deneme sayıları, ağ politikası, decoding parametreleri ve seed kümesi. Manifesto makine tarafından okunabilir olmalıdır ki okuyucu iki sonucu diff'leyip hemen karşılaştırılabilir olup olmadıklarını görebilsin. Manifestosuz bir puan bir anekdottur.
Nokta tahmini değil, varyans raporlayın. Seed'ler arasında ve en az iki harness varyantı üzerinde — sıkı bir bütçe ve gevşek bir bütçe — çalıştırın ve yayılımı yayınlayın. Bir modelin puanı adım üst sınırı yirmiden sekize düştüğünde çöküyorsa, bu bir okuyucuya söyleyebileceğiniz en yararlı şeydir ve tek bir ortalama bunu tamamen gizler.
Olay tekrarlarını aynı harness sürümüne karşı yeniden çalıştırılabilir yapın. Bir agent üretimde yanlış davrandığında, regresyon ancak tekrar, davranışı üreten harness'a karşı çalıştırılırsa atfedilebilir. Harness'ı modeli sürümlediğiniz gibi sürümleyin ve eski sürümleri çalıştırılabilir tutun. Ekiplerin atladığı kısım budur ve bir eval suite'ini lansman artefaktından mühendislik aracına dönüştüren kısım da budur.
Kabul ettiğiniz ödünleşimi belirtin. Her harness seçimi, temsil edicilik pahasına yeniden üretilebilirlik satın alır veya tam tersi. Hangi yöne gittiğinizi söyleyin. Stub'lanmış, ağdan izole edilmiş, sıkı bütçelenmiş bir suite, etiket bunu söylediği sürece yayınlamak için iyi bir şeydir.
Bu neden bir raporlama değil, mühendislik sorunudur
Cazip olan, harness açıklamasını bir dokümantasyon görevi olarak ele almaktır — ekine bir tablo ekleyin ve devam edin. Değildir. Harness sürümlendiğinde, test edebileceğiniz, regresyona sokabileceğiniz ve hakkında akıl yürütebileceğiniz bir şey haline gelir ve bu, sistemin nasıl inşa edildiğini değiştirir. Araç şemaları API sözleşmeleri gibi gözden geçirilir. Yeniden deneme politikaları sezgi yerine ölçülen toparlanma oranlarına göre ayarlanır. Adım üst sınırları, bir framework örneğinden devralınan varsayılan yerine, belirtilmiş bir gerekçeyle ürün kararı haline gelir.
Maliyet gerçektir: birden fazla harness varyantını sürdürmek, eski çalışma zamanı imajlarını çalıştırılabilir tutmak ve her suite'i bir seed kümesi üzerinde çalıştırmak, hesaplama ve mühendislik süresini katlar. Tek modeli ve tek ürünü olan ekipler bunu ihtiyaç duyduklarından daha ağır bulacaktır. Dürüst tutum, tam sözleşmenin modeller veya laboratuvarlar arasında karşılaştırma yaptığınızda karşılığını verdiğidir — ki sayının bağlamından koparılarak alıntılanma olasılığının en yüksek olduğu an tam da budur.
Bu karşılaştırmaların şu anda nasıl raporlandığı ve boşlukların nerede olduğu hakkında arka plan için, bu agent değerlendirme pratiği üzerine son tartışmaya bakın.
Eksik olan değişken benchmark değil. Harness'tır ve bugün sürümleyebileceğiniz şey odur.
