İkame argümanı
Üretken sistemleri yüksek hacimde değerlendirmek, her örnek insan dikkati gerektirdiğinde pahalıdır. Yaygın bir yanıt ikamedir: çıktıların büyük kısmını daha küçük, daha ucuz bir sınıflandırıcıdan geçirin ve insan incelemesini kalan kısma ayırın. Argüman basittir. Rubrik dar ve etiket uzayı küçükse, kompakt bir model daha büyük bir modelin yargısını maliyetin çok altında yaklaşık olarak verebilir.
Argüman çoğu zaman doğrudur. Bu yanıt gerçek bir kaynağa çözümlenen bir atıf içeriyor mu gibi ikili bir karar kısıtlı bir görevdir. Sıkı bir prompt'a sahip küçük bir model bunu toplu raporlama için yeterince güvenilir şekilde halledebilir. Tasarruf gerçektir, ancak yalnızca bir koşulda: yargıç hatası varsayılmak yerine ölçülmelidir. Ürettiği skoru, o skoru üreten aracın doğruluğunu bildirmeden raporlayan bir hat, kanıt raporlamıyor demektir. Hesaplanabilir olduğu için hesaplanan bir sayıyı raporluyor demektir.
Başarısızlık modu incedir çünkü yargıç nadiren yüksek sesle başarısız olur. Yüzeysel akla yatkınlık yönünde başarısız olur. Akıcı, iyi yapılandırılmış, kendinden emin bir dille yazılmış bir çıktının doğru olarak derecelendirilme olasılığı, aslında doğru olan kısa bir çıktıdan daha yüksektir. Bu, belirli bir modeldeki bir hata değildir; insan tercih verisiyle eğitimin bir özelliğidir; burada akıcılık onaylanmayla ilişkilidir.
Yargıç aslında neyi ölçüyor
Bir yargıcı kalibre etmeden önce, neyin vekili olduğu konusunda açık olmak faydalıdır. Çoğu hatta yargıç, soyut anlamda kaliteyi ölçmez. Bir rubrikle uyumu ölçer ve rubrik, ekibin gerçekte önemsediği şeyin kayıplı bir sıkıştırmasıdır. İki başarısızlık modu bunu izler.
Birincisi, rubrik, yargıcın keyfi olarak çözdüğü şekillerde yetersiz belirtilmiş olabilir. Rubrik yanıt sağlanan bağlama dayandırılmalıdır diyorsa, yargıç neyin dayandırma sayılacağına karar vermelidir: bir başka deyişle ifade, doğrudan bir alıntı, bir atıf işaretçisi veya yalnızca bağlamla çelişmeyen bir iddia. Farklı yargıçlar bunu farklı şekilde çözer ve aynı yargıç bunu farklı çalıştırmalar arasında farklı şekilde çözebilir.
İkincisi, yargıç hedefin bir bağıntısını ölçüyor olabilir. Uzunluk, biçimlendirme, kaçamak dil ve numaralandırılmış adımların varlığı, birçok veri kümesinde insan onayıyla bağıntılıdır. Bu bağıntıları öğrenmiş bir yargıç, iyi biçimlendirilmiş yanlış bir yanıtı, sade bir şekilde yazılmış doğru bir yanıtın üstünde puanlayacaktır. Bu, temel ölçüm problemidir ve rakip örneklerin ortalama durum örneklerinden neden daha önemli olduğunun nedenidir.
Kalibrasyon yöntemi
Pratik yöntem gösterişsizdir. Değerlendirme kümesinin insan etiketli bir dilimini, rubrik boyutlarına göre katmanlaştırılmış olarak ayırın ve yargıç uyumunu tek bir toplam yerine boyut başına raporlayın. Toplam uyum, yargıcın olgusal dayandırmada mükemmel ve tonda neredeyse rastgele olduğu durumu gizler.
Boyut başına raporlamanın ikinci bir faydası vardır: yargıcın kör noktalarını skorları tüketen kişiler için okunur kılar. Yargıç, olgusal iddiaların yüzde 90'ında insanlarla uyuşuyor ancak bütünlük yargılarının yüzde 60'ında uyuşuyorsa, alt kullanıcılar hangi sayılara güveneceklerini bilir.
Üretici değiştikçe drift
Bir üreticiye karşı kalibre edilmiş bir yargıç, otomatik olarak bir sonrakine karşı kalibre edilmiş değildir. Üretici modeli güncellendiğinde, çıktılarının dağılımı kayar: farklı ifade, farklı reddetme davranışı, farklı başarısızlık modları. Geçen çeyrek ayarlanmış bir yargıç şimdi yanlış kalibre edilmiş olabilir ve yanlış kalibrasyon kendini duyurmaz. Skorlar görünmeye devam eder ve makul görünmeye devam eder.
Buna karşı korunma mekanizması, üretici her değiştiğinde yeniden puanlanan sabit bir kalibrasyon kümesidir. Kalibrasyon kümesi yeniden üretilmemelidir; dondurulmalıdır, böylece yargıç uyumundaki değişiklikler testteki değişiklikleri değil, yargıçtaki veya üreticideki değişiklikleri yansıtır. Dondurulmuş bir kümeyi yeniden puanlamak ucuzdur. Bunu atlamak, bir hattın ölçüm geçerliliğini sessizce kaybetmesinin yoludur.
Rakip örnekler
En faydalı kalibrasyon örnekleri, yüzeysel akıcılığın ve doğruluğun ayrıldığı örneklerdir. Bunları kasıtlı olarak oluşturun:
- Olgusal olarak yanlış olan akıcı, iyi yapılandırılmış bir yanıt.
- Doğru olan kısa, kötü biçimlendirilmiş bir yanıt.
- Doğru olan ancak makul bir öncekiyle çelişen bir yanıt.
- Var olmayan bir kaynağa atıf yapan bir yanıt.
- Sonucu doğru ancak akıl yürütmesi yanlış olan bir yanıt.
Birinciyi ikincinin üstünde puanlayan bir yargıç, doğruluğu değil üslubu öğrenmiştir. Bu, yargıcı atmak için bir neden değildir; tam olarak bu dilimdeki doğruluğunu raporlamak için bir nedendir. Zayıflıkları bilinen bir yargıç, kullanılabilir bir araçtır. Zayıflıkları bilinmeyen bir yargıç, yanlış güvenin kaynağıdır.
Daha ileri bir rakip kaygı vardır. Üretici ve yargıç ortak bir eğitim soyunu paylaştığında, sistematik önyargıları paylaşabilirler. Üreticiyle aynı aileden gelen bir yargıcın, üreticinin çıktılarını kabul edilebilir bulma olasılığı daha yüksektir; doğru oldukları için değil, tanıdık oldukları için. Mümkün olduğunda, yargıç üreticiden farklı bir aileden se
Dürüst ödünleşim
Bunların hiçbiri model-as-judge hatlarına karşı bir argüman değildir. Alternatif olan, her örneğin insan incelemesi, modern değerlendirmenin gerektirdiği hacimlere ölçeklenmez ve rubrik dar olduğunda ikame argümanı sağlamdır. Ödünleşim, kapsam ile geçerlilik arasındadır. Ucuz bir yargıç kapsam satın alır: daha fazla örnek, daha fazla çalıştırma, daha sık ölçüm. Geçerliliğe mal olur ve maliyet yalnızca ölçülürse görünür olur.
Ödünleşim rubrik boyutları arasında tekdüze değildir. Biçim uyumu veya atıf çözümlemesi gibi dar, doğrulanabilir boyutlar için küçük bir yargıç neredeyse birebir ikame olabilir. Akıl yürütme kalitesi veya bütünlük hakkında yargı gerektiren boyutlar için ikame daha zayıftır ve insan dilimi daha büyük olmalıdır. Yargıcı tüm boyutlarda tekdüze güvenilir olarak ele almak, ödünleşimin yanlış fiyatlandırılmasının en yaygın yoludur.
İlgili bir ödünleşim, kalibrasyonun kendisinin gecikmesi ve maliyetiyle ilgilidir. Her üretici değişikliğinde dondurulmuş bir kalibrasyon kümesini yeniden puanlamak, sürüm sürecine bir adım ekler. Bu adım, artık iddia ettiği şeyi ölçmeyen bir metriği yayınlamanın maliyetine göre ucuzdur, ancak bir adımdır ve tanımlı bitmişlik tanımının parçası olmadıkça takvim baskısı altında atlanacaktır.
Raporlama kuralı
Yargıç doğruluğunu, ürettiği metriğin yanında yayınlayın. Aracının doğruluğu olmadan bir skor kanıt değildir. Pratikte bu, raporlanan her değerlendirme sayısının üç şey taşıdığı anlamına gelir: metrik, yargıcın ilgili boyutta insanlarla uyumu ve son kalibrasyonun tarihi.
Bu kural rahatsız edicidir çünkü değerlendirme raporlarını daha uzun ve daha az alıntılanabilir kılar. Tek bir sayı, yanına bir güven niteleyicisi eklenmiş bir sayıdan daha kolay dolaşıma girer. Ancak alternatif, sessizce kayan ve anlam ifade etmeyi bıraktıktan çok sonra güvenilen bir metriktir.
Kural ayrıca değerlendirmenin nasıl kapsamlandırıldığını değiştirir. Bir boyut makul bir maliyetle insan etiketlerine karşı kalibre edilemiyorsa, bu bilgidir. Bu, boyutun henüz gerekli ayrıntı düzeyinde ölçülemez olduğu anlamına gelebilir ve dürüst yanıt, niteliksiz bir skor raporlamak yerine bunu söylemektir.
Süsleme değil, enstrümantasyon
Bir yargıç bir ölçüm aracıdır. Araçlar kalibrasyon, drift izleme ve rakip testler gerektirir ve hatalarının çıktılarının yanında raporlanmasını gerektirir. Küçük yargıçlar için ikame argümanı sağlamdır, ancak bu geçerlilikle ilgili değil, maliyetle ilgili bir argümandır. Geçerlilik ayrıca kazanılmalıdır: boyut başına, üretici sürümü başına ve ikisi de değiştiğinde yeniden kazanılmalıdır.
Yargıcı bir kısayol olarak değil de altyapı olarak ele alan ekipler, yanlış güven olmadan kapsam faydasını elde eder. Onu bir kısayol olarak ele alan ekipler, kanıt gibi görünen ve olmayan sayılar elde eder. Fark modelde değildir. Fark, birinin aracı ölçüp ölçmediğindedir.