Daha ucuz bir yargıcın gizli maliyeti
Değerlendirme hatları harcamayı azaltma baskısı altındadır. Yaygın bir hamle, pahalı bir yargıç modelini daha ucuz biriyle değiştirmektir. Çıkarım faturası düşer, hat hâlâ puan üretir ve kontrol paneli yeşil kalır. Görünmeyen şey, puanların artık aynı ölçekte olmadığıdır. Bir yargıç tarafsız bir ölçüm aracı değildir. Kendi önyargıları, kod çözme davranışı ve hata modları olan bir modeldir. Onu değiştirmek, yalnızca maliyeti değil, ölçümü de değiştirir.
Bu makale, yargıç ikamesinin ancak yargıç sürümlenmiş bir bağımlılık olarak ele alındığında meşru olduğunu savunur: sabitlenmiş, kaydedilmiş ve regresyon testinden geçirilmiş. Bu disiplin olmadan, tasarrufun bedeli karşılaştırılabilirliğin kaybıyla ödenir ve karşılaştırılabilirlik bir değerlendirme hattının tüm amacıdır.
Yargıç ikamesi geçmişi neden bozar
İki yargıç sürümü, rubrik metni bayt bayt aynı olsa bile doğrudan karşılaştırılamayan puanlar üretir. Yargıç modeli kendi önselini katkıda bulunur: bir rubrik maddesini ne kadar katı yorumladığı, kısmi puanı nasıl ağırlıklandırdığı, belirsizliği nasıl ele aldığı. "Yanıt bir kaynak belirtmelidir" diyen bir rubrik, bir URL'nin varlığına göre desen eşleştiren küçük bir model ile atıfta bulunulan kaynağın iddiayı destekleyip desteklemediğini kontrol eden daha büyük bir model tarafından farklı okunur. Rubrik aynıdır; ölçüm aynı değildir.
Bu teorik bir kaygı değildir. Ajan değerlendirmesinde açıklanamayan puan hareketinin en yaygın nedenidir. Yargıç sürümlerini karıştıran bir liderlik tablosu, test edilen sistemi değil, yargıcı ölçüyordur. Yeni bir yargıç sessizce devreye alındığında, geçmiş puanlar iki dağılımın bir karışımı hâline gelir. Zaman içindeki eğilimler yorumlanamaz hâle gelir. Altıncı haftada ortaya çıkan bir regresyon, beşinci haftadaki bir yargıç yükseltmesi olabilir.
Pratik sonuç şudur: çalıştırmalar arası her karşılaştırma, yargıç sürümünün sabit tutulmasını ya da ölçek kaymasının açıkça modellenmesini gerektirir. Çoğu ekip ikisini de yapmaz. Yargıcı, bir çalışma zamanı yaması gibi yerinde yükseltilebilecek altyapı olarak ele alırlar. Ancak bir çalışma zamanı yaması bir metriğin anlamını değiştirmez. Bir yargıç yükseltmesi değiştirir.
Yargıcı bir bileşen olarak ele alın
Çözüm, yargıcı ciddi bir sistemin bir şemaya veya bir model kontrol noktasına davrandığı gibi ele almaktır. Bu, her sonuç kaydında puanı üreten yargıcın tam kimliğinin kaydedilmesi anlamına gelir:
- model tanımlayıcısı ve sağlayıcı revizyonu;
- kod çözme parametreleri (temperature, top-p, max tokens, varsa seed);
- yargıç prompt'unun ve rubrik metninin bir hash'i;
- rubrik revizyon numarası.
Bu alanları içermeyen bir sonuç kaydı yeniden üretilebilir değildir. Bir anekdottur.
Somut bir mekanizma, yargıcın ham çıktısını aday çıktısının yanında saklamaktır. Yargıç yapılandırılmış bir karar döndürürse, yalnızca ayrıştırılmış puanı değil, tam yanıtı kalıcı hâle getirin. Bu, test edilen ajanı yeniden çalıştırmadan yeniden notlandırmayı mümkün kılar. Bir yargıç yükseltildiğinde, eski aday çıktıları yeni yargıç altında yeniden puanlanabilir ve iki puan kümesi doğrudan karşılaştırılabilir. Saklanan yargıç çıktıları olmadan, bir yargıç geçişi tam bir ajan yeniden çalıştırmasını zorunlu kılar; bu genellikle hattın pahalı kısmıdır.
Yargıcı bir şemayı sürümlediğiniz gibi sürümleyin. Ölçek kaydığında, bir geçiş notu yazın: ne değişti, neden ve puanlar üzerindeki beklenen etki nedir. Bir geçiş notu bürokrasi değildir. Kontrol panelini okuyan birinin gerçek bir regresyonu bir ölçüm değişikliğinden ayırt edebilmesinin tek yoludur.
Ucuz yargıçların kendi değerlendirmesine ihtiyacı var
Daha ucuz bir yargıç yeni bir bileşendir ve yeni bileşenlerin kendi değerlendirmesine ihtiyacı vardır. İlgili soru, ucuz yargıcın genel olarak iyi olup olmadığı değil, hattın gerçekte kapsadığı görev ailelerinde güvenilir bir referansla uyuşup uyuşmadığıdır. Referans, ayrılmış bir insan örneklemi veya seyrek olarak bir oracle olarak kullanılan daha pahalı bir yargıç olabilir.
Uyumu toplu olarak değil, görev ailesi başına ölçün. Bir yargıç sınıflandırmada güvenilir, çok adımlı doğrulukta işe yaramaz olabilir. Toplu uyum bunu gizler. Hat on görev ailesini kapsıyorsa ve ucuz yargıç dokuzunda oracle ile uyuşup en önemli olanında ayrışıyorsa, toplu sayı yanıltıcıdır.
Bir kontrol paneline uyarı vermek yerine hattı bloke eden bir anlaşmazlık eşiği belirleyin. Uyarı, teslim tarihi baskısı altında göz ardı edilen bir sinyaldir. Blok, çözülmesi gereken bir sinyaldir. Eşik görev ailesi başına tanımlanmalı ve belgelenmiş bir geri dönüşle birlikte olmalıdır: ucuz yargıcın anlaşmazlık oranı eşiği aştığında, hat o görev ailesini pahalı yargıca veya insan incelemesine yönlendirir. Bu, maliyet tasarrufunu güvenli olduğu yerde korur ve olmadığı yerde kaldırır.
Burada dürüst bir ödünleşim var. Anlaşmazlıkta bloke etmek gecikme ve operasyonel sürtünme ekler. Bir oracle örneklemi sürdürmeyi ve rubrik değiştiğinde uyum kontrollerini yeniden çalıştırmayı gerektirir. Bunu atlayan ekipler emekten tasarruf etmiyor; bunu bir puan harek
etwork-cables-macro-e398d9-23b10f.jpg)
Maliyet argümanı, dürüstçe ifade edildiğinde
Yargıç maliyeti genellikle ajan çalıştırma maliyetinin küçük bir kısmıdır. Test edilen ajan birçok model çağrısı yapabilir, araçlar kullanabilir ve yeniden deneyebilir. Yargıç, aday çıktısı başına bir çağrı yapar. Yargıcı ajandan önce optimize etmek genellikle yanlış işlem sırasıdır. Daha büyük kaldıraç genellikle ajanın kendi token ve araç bütçesidir, yargıcın çıkarım harcaması değil.
Ucuz yargıçlardan gerçek tasarruf, çıkarım harcaması değil, rubrik üzerinde yineleme hızıdır. Ucuz bir yargıç, bir ekibin rubrik ifadesini iyileştirirken saklanan bir aday çıktı kümesini birçok kez yeniden notlandırmasını sağlar. Bu gerçek bir faydadır: değerlendirme kalitesinin gerçekte iyileştirildiği yer rubrik yinelemesidir. Ancak bu, saklanan yargıç çıktılarına ve sabitlenmiş bir yargıç sürümüne bağlıdır. Bunlar olmadan, ucuz yargıç karşılaştırılamaz sayılar üreten bir süreci hızlandırır.
Ucuz yargıç neyi sevk ettiğinizi değiştiriyorsa, tasarruf negatiftir. Daha ucuz ama daha gürültülü bir yargıç, adayları farklı şekilde onaylar veya reddeder. Bu fark bir sürüm kararını hareket ettiriyorsa, karar hatasının maliyeti çıkarım tasarrufunu gölgede bırakır. Doğru karşılaştırma, yargıç maliyeti ile yargıç maliyeti değildir. Yargıç maliyeti artı karar hatası ile yargıç maliyeti artı karar hatasıdır.
Asgari bir disiplin
Bunların hiçbiri büyük bir platform gerektirmez. Dört alışkanlık gerektirir:
- Her sonuç kaydında yargıç kimliğini sabitleyin, prompt ve rubrik hash'leri dâhil.
- Ajanı yeniden çalıştırmadan yeniden notlandırmanın mümkün olması için yargıç çıktılarını aday çıktılarının yanında saklayın.
- Bir oracle örneklemi sürdürün ve bloke edici bir eşikle aile başına uyumu ölçün.
- Yargıç sürümü her değiştiğinde bir geçiş notu yazın ve ölçek kaymasını nicelleştirmek için sabit bir aday kümesini yeniden notlandırın.
Bu, çıktıyı etkileyen herhangi bir bağımlılığa uygulanan aynı disiplindir. Bir veritabanı sürücüsü yükseltmesi üretime ulaşmadan önce test edilir. Bir yargıç yükseltmesi hattaki her puanın anlamını değiştirir. Onu gelişigüzel bir ikame olarak ele almak bir kategori hatasıdır.
Maliyet düşürme sorusu meşrudur. Değerlendirme bütçeleri gerçektir. Ancak daha ucuz bir yargıçtan elde edilen tasarruf, ancak karşılaştırılabilirlik korunursa gerçektir. Aksi takdirde hat, ölçüm gibi görünen ve gürültü gibi davranan sayılar üretir.