Kanıt Modelleri ve Karar Modelleri Farklı Yapıtlardır

Tek gibi görünen iki iş

Eylemi gerçekleştiren bir agent ile eylemi puanlayan bir agent genellikle aynı checkpoint'ten, aynı prompt iskeletinden ve aynı serving yığınından inşa edilir. Bu kullanışlıdır ve yanlış varsayılandır. Bir karar modeli ile bir kanıt modeli farklı gereksinim kümelerine sahiptir ve bunları tek bir yapıt olarak ele almak, hata modlarını sessizce değerlendirmeyi geçersiz kılacak şekilde birbirine bağlar.

Bir karar modeli, bir politika altında eylem kalitesi için optimize eder: verilen bir durumda, gecikme ve maliyet bütçeleri içinde hedefi ilerleten bir sonraki tool call'ı, mesajı veya plan adımını üretir. Bir kanıt modeli ise kalibrasyon, kararlılık ve çerçevelemeye karşı direnç için optimize eder. Aktörün ifadesi değiştiğinde sabit kalan ve belirsiz olduğunda dürüstçe düşen bir yargı üretmelidir.

Bunlar aynı şeyin iki boyutu değildir. İki ayrı spesifikasyondur.

Karar modelleri ve kanıt modelleri farklı gereksinim kümelerine sahiptir

Bir karar modeli, aşağı akışta ne olduğuyla yargılanır. Ticket kapandı mı, test geçti mi, retrieval doğru belgeyi döndürdü mü. Yararlı özellikleri verimlilik, tool kullanım güvenilirliği ve kötü bir ara adımdan kurtulma yeteneğidir. Gecikme önemlidir çünkü model bir döngünün içinde oturur. Yavaş bir karar modeli, akıl yürütmesi daha iyi olsa bile daha kötü bir karar modelidir, çünkü döngünün bir bütçesi vardır.

Bir kanıt modeli, bir referansa karşı verdiği puanların kalitesiyle yargılanır. Yararlı özellikleri kalibrasyon (0.7'lik bir puan kabaca 0.7 anlamına gelir), kararlılık (aynı girdi, çalıştırmalar ve sıralamalar arasında aynı puanı alır) ve aktörün çerçevelemesinden bağımsızlıktır. Dikkatli olacak kadar yavaş ve suite ölçeğinde çalışacak kadar ucuz olmalıdır.

Gereksinimler zıt yönlere çeker. Karar modelleri agresif context sıkıştırmadan ve kendinden emin, kararlı çıktılardan fayda sağlar. Kanıt modelleri ise temkinli çıktılardan ve açık belirsizlikten fayda sağlar. Kararlı olacak şekilde eğitilmiş veya prompt'lanmış bir model, yapısı gereği "bunun doğru olduğundan emin değilim" deme işine uygun değildir.

Paylaşılan ağırlıklar değerlendirmeyi neden bozar

Yargıç aktörden türetildiğinde, aktörün kör noktalarını devralır. Aktör sistematik olarak bir tarih formatını yanlış okuyorsa, aynı ağırlıklara ve aynı eğitim dağılımına sahip bir yargıç da bu yanlış okumayı kabul etme eğiliminde olur. Hata yanlış bir cevap olarak görünmez; geçen bir puan olarak görünür. Sistem bozukken değerlendirme sağlıklı olduğunu bildirir.

Bu varsayımsal değildir. Aynı modelin kendi çıktısını kontrol etmesinin istendiği self-grading döngüleri için olağan durumdur. Kontrol, hatayla korelasyonludur, dolayısıyla kontrol çok az bilgi ekler. En kötü durumda negatif bilgi ekler: puan yüksektir tam da aktör ve yargıç aynı yanlış önseli paylaştığı için.

Kendini geliştiren döngüler sorunu büyütür. Aktör, yargıcın puanlarına göre fine-tune edilirse veya prompt-optimize edilirse, görevi değil yargıcın tercihlerini öğrenir. Gradyan, yargıcın ödüllendirdiği şeye, kendine özgü tuhaflıkları dahil, işaret eder. İterasyonlar boyunca sistem yargıcı tatmin etmede daha iyi hale gelir ve işte hiç iyileşmez. Değerlendirme metriği yükselir; ürün yükselmez.

Bağımsız yargıçlar çalıştırma başına daha pahalıdır. Çoğu durumda sistematik hatayı tespit edebilen tek mekanizmadırlar, çünkü hatayı paylaşmazlar. Ayrılığın tüm amacı budur.

Bir ayrılık deseni

Yargıcı kendi yaşam döngüsü olan bir bağımlılık olarak ele alın.

Yargıcı bağımsız olarak sürümleyin ve suite başına sabitleyin

Bir yargıç bir config bayrağı değildir. Bir sürümü, bir prompt'u, bir modeli ve bir decoding yapılandırması olan bir yapıttır. Dördünü de değerlendirme suite'i başına, bir lockfile'da bir kütüphane sürümünü sabitlediğiniz gibi sabitleyin. Yargıç değiştiğinde, suite'in puanları önceki çalıştırmayla artık karşılaştırılabilir değildir ve sistem bunu sessizce sürümler arası diff almak yerine söylemelidir.

Somut bir mekanizma: her suite'in yanında bir yargıç manifestosu saklayın.

suite: checkout-agent-v4
judge:
  model: evidence-judge-2024-11
  prompt_hash: 9f2c1a
  decoding: {temperature: 0.0, top_p: 1.0}
  rubric_version: 3
actor:
  model: checkout-actor-2024-11
  prompt_hash: 4b7e02

Harness tarafından yazılan her puan satırı yarg![Abstrjpg).

Yargıç kaymasını tespit etmek için insan etiketli bir holdout örnekleyin

Aktör kayması olağan şüphelidir, ancak ölçümü bozan yargıç kaymasıdır. Aktörün asla eğitilmediği ve yargıcın asla üzerine tune edilmediği küçük, insan etiketli bir küme ayırın. Yargıcı bir takvime göre bu küme üzerinde çalıştırın. Yargıcın insan etiketleriyle uyumu tarihsel bandının dışına çıkarsa, yargıç kaymıştır ve son temiz çalıştırmadan bu yana ürettiği her puan şüphelidir.

Holdout'un büyük olması gerekmez. Kararlı olması, yargıçtan bağımsız bir süreçle etiketlenmesi ve kaymanın bir dağıtım kararını bilgilendirmeden önce yakalanacak kadar sık kontrol edilmesi gerekir.

Her puanla birlikte yargıç kimliğini kaydedin

Tarihsel karşılaştırmalar yalnızca ölçüm aracı aynıysa geçerlidir. Bir puan saklandığında, yargıç manifestosu hash'ini de onunla saklayın. Panolar bir yargıç sürüm sınırı boyunca trend çizgisi çizmeyi reddetmeli veya sınırı açıkça göstermelidir. Bu gösterişsiz bir altyapı işidir ve bir metrik ile bir iddia arasındaki farktır.

Kabul edilecek ödünleşimler

Bağımsız yargılama her değerlendirme çalıştırmasına gecikme ve maliyet ekler. Ayrı bir yargıç, öğe başına ikinci bir model çağrısı veya suite üzerinde bir toplu iş, artı onu sürümlemek ve sunmak için altyapı anlamına gelir. Büyük suite'ler için bu gerçek bir gider kalemidir ve aktörün sistematik hatalarını tespit edebilen bir ölçümün bedelidir.

Yargıç sürümleme migrasyon işi yaratır. Yargıç yükseltildiğinde, öncesi ve sonrası puanlar doğrudan karşılaştırılabilir değildir. Ya eski yargıç tarihsel suite'i yeniden puanlamak için canlı tutulur ya da suite yeniden baseline'lanır ve süreksizlik belgelenir. İkisi de iştir. Değerlendirme bir dağıtım kararını bilgilendirmek içinse ikisi de kaçınılmazdır, çünkü karşılaştırılamaz sayılar üzerine verilen bir karar, pano giymiş bir tahmindir.

Alternatif daha ucuz ve daha kötüdür: aktörün ağırlıklarını paylaşan, yapısı gereği onunla hemfikir olan ve başarı bildiren bir yargıç. O sistem değerlendirilmiyor. O sistem pohpohlanıyor.

Sınır bir tasarım tercihidir

Karar veren modeller ile yargılayan modeller arasındaki çizgi bir tasarım sınırıdır, bir boyut sınırı değil. Daha küçük bir modeli puanlamak için daha büyük bir model kullanmak ya da tersiyle ilgili değildir. Farklı hedefleri, farklı hata modları ve farklı yaşam döngüleri olan iki yapıtla ilgilidir. Sınırı bilinçli çizen ekipler üzerine harekete geçebilecekleri değerlendirmeler elde eder. Sınırı çökerten ekipler yükselen bir sayı ve yükselmeyen bir sistem elde eder.