Manşetin arkasındaki iddia
Kompakt karar modellerinden oluşan bir dalga geldi. Microsoft-Decision-1 ve Nace AI'ın Drex 1.5'i, karar vermeyi üretim yerine puanlama olarak çerçeveliyor: bir dizi seçenek ve bir hedef verildiğinde, model bir puan veya sıralama döndürüyor. Bu faydalı bir değişim. Puanlama sınırlı bir işlemdir. Sabit bir seçenek kümesi ve sabit bir hedef gerektirir. Bu hedefin bir yerden gelmesi gerekir ve o yer ağırlıklar değil, bir politika belgesidir.
Sıkıştırma meselenin özüdür. Seçenekleri puanlayan 9B'lik bir model, zaten yazdığınız politikanın bir sıkıştırmasıdır. Sürümlenmiş bir karar kaydı olmadan bunu devreye alırsanız, yönetişim sorununu ortadan kaldırmış olmazsınız. Onu bir checkpoint'e taşımış olursunuz.
Checkpoint'in ne içerdiğini düşünün. (bağlam, seçenek, hedef) girdisinden puana giden öğrenilmiş bir fonksiyon içerir. Fonksiyon örneklere göre uyarlanmıştır. Bu örnekler, birileri tarafından, bir politika altında, bir zamanda yapılmış seçimleri kodlar. Checkpoint politika metnini taşımaz. Onun istatistiksel bir özetini taşır. Politika değiştiğinde, özet kendini güncellemez. Politika sessiz kaldığında, özet yine de bir sayı üretir.
Arıza modu budur. Bir puanlama modeli yapısı gereği kendinden emindir. Verdiğiniz her seçenek için bir puan döndürür. Politikanız bir eşitlik bozma kuralı tanımlamıyorsa, model bunu eğitim dağılımından uyduracaktır. Uydurma çıktıda görünmez. Yalnızca karar günlüğünde görünür — eğer bir tane tuttuysanız ve günlük puanı üreten seçenek kümesini ve hedefi içeriyorsa.
Puanlanmış bir karar sizi aslında neye bağlar
Her puan bir karşılaştırma sınıfı ve bir eşitlik bozma kuralı ima eder. Karşılaştırma sınıfı seçenek kümesidir. Seçenek kümesi kaydedilmezse, puan anlamsızdır. A seçeneği için 0.82 puanı, B, C ve D'nin ne olduğu bilinmeden hiçbir şey ifade etmez. Hedef bilinmeden de hiçbir şey ifade etmez: maliyet verimliliği için 0.82, müşteri elde tutma için 0.82'den farklı bir karardır.
Eşitlik bozma kuralı, çoğu agent olayının yaşadığı yerdir. Model kendinden emindir, politika sessizdir. İki seçenek dar bir bantta puan alır. Model yüksek olanı seçer. Politika, puanlar yakın olduğunda hangi boyutun baskın olduğunu hiç söylememiştir. Olay raporu, agent'ın beklenmedik bir seçim yaptığını söyler. Kök neden, bir kayıtta eksik bir satırdır.
Kaydedilmiş bir seçenek kümesi olmadan bir puan, sonradan yeniden oynatılamaz. Yeniden oynatma aynı girdileri gerektirir: aynı seçenek şeması, aynı hedef, aynı eşik. Karar ile denetim arasında seçenek şeması değiştiyse, puan yeniden üretilemez. Hedef bir prompt şablonunda düzenlendiyse, puan yeniden üretilemez. Eşik, değerlendirme sırasında ayarlanmış bir hiperparametre idiyse, puan yeniden üretilemez.
Bu bir model sorunu değildir. Bir artifact sorunudur. Model bir çalışma zamanıdır. Kayıt ise artifact'tır.
Kayıt artifact'tır, model çalışma zamanıdır
Bir karar kaydı, bir agent'ın vermesine izin verilen kararların sürümlenmiş kaydıdır. Checkpoint'ten ayrı olarak sürümlenmesi gereken üç parçası vardır:
- Seçenek şeması: hangi seçeneklerin var olduğu, nasıl tanımlandıkları ve her seçeneğin hangi alanları taşıdığı.
- Hedef: puanlanan boyutlar, göreli ağırlıkları ve tercih yönü.
- Eşitlik bozma: yakın eşitlikleri çözen kural, yakın eşitliği tanımlayan eşik dahil.
Bunları ayrı ayrı sürümlemek önemlidir çünkü farklı hızlarda değişirler. Checkpoint, yeniden eğittiğinizde veya model değiştirdiğinizde değişir. Seçenek şeması, iş yeni bir ürün kademesi eklediğinde değişir. Hedef, politika ekibi maliyeti elde tutmaya karşı yeniden ağı.jpg)a değişir.
Puan eşiklerini hiperparametre olarak değil, bir sahibi olan konfigürasyon olarak ele alın. Bir eşik bir politika beyanıdır: bu puanın altında bir insana yükselt; üstünde harekete geç. Bu beyanın bir adı, bir sürümü ve ondan sorumlu bir kişisi veya rolü olması gerekir. Eşik bir eğitim betiğinde yaşıyorsa, modelle birlikte kayacaktır. Bir sahibi olan bir config dosyasında yaşıyorsa, gözden geçirilebilir.
Denetçinin kararı yeniden kurabilmesi için seçenek kümesini puanla birlikte günlüğe kaydedin. Günlük kaydı kayıt sürümünü, seçenek tanımlayıcılarını, hedef sürümünü, eşik sürümünü ve ham puanları içermelidir. Bu kayıtla bir denetçi, kararı aynı kayda karşı yeniden oynatabilir ve modelin çıktısının politikayla tutarlı olup olmadığını görebilir. Bu olmadan denetçi yalnızca modeli inceleyebilir; bu da ona modelin ne yapabileceğini söyler, ne yaptığını değil.
Somut bir mekanizma: her kararla birlikte kayıt hash'ini saklayan bir karar günlüğü şeması. Hash; seçenek şemasını, hedefi ve eşitlik bozmayı kapsar. Kayıt değiştiğinde hash değişir. Eski kayıt altında verilen kararlar, eski hash altında sorgulanabilir kalır. Bu küçük bir mühendislik parçasıdır. Yeniden oynatılabilir bir karar ile inandırıcı bir hikâye arasındaki farktır.
Bir tasarım kuralı
Bir karar, bir kayıtta satır olarak ifade edilemiyorsa, bir puanlama modeli onu yönetilebilir kılmaz. Satır testtir. Sizi seçenekleri, hedefi ve eşitlik bozmayı adlandırmaya zorlar. Bunları adlandıramıyorsanız, bir politikanız yoktur. Modelin eğitim dağılımının niyetinizle örtüşeceğine dair bir umudunuz vardır.
Karar modelleri kaydın yerine değil, arkasına aittir. Kayıt karar uzayını tanımlar. Model onun içinde puanlar. Çalışma zamanı eşiği uygular ve sonucu günlüğe kaydeder. Bu sıralama politikayı görünür ve modeli değiştirilebilir tutar. Politikayı yeniden yazmadan bir 9B puanlayıcıyı başka bir 9B puanlayıcıyla veya daha büyük bir modelle değiştirebilirsiniz. Modeli yeniden eğitmeden politikayı güncelleyebilirsiniz.
Ödünleşim gerçektir. Bir kaydı sürdürmek iştir. Bir şema, bir gözden geçirme süreci ve bir günlükleme hattı gerektirir. İlk devreye almayı yavaşlatır. Bunu atlayan ekipler daha hızlı sevk eder ve görünmez borç biriktirir: yeniden oynatılamayan kararlar, sahibi olmayan eşikler, yalnızca modelin ağırlıklarında yaşayan eşitlik bozmalar. Borç, bir olay incelemesi veya denetim sırasında vadesi gelir — soru, modelin ne yapabileceği değil, ne yaptığı olduğunda.
Puanlama modelleri, sınırlı kararlar için serbest biçimli üretime göre gerçek bir iyileştirmedir. Çıktıyı karşılaştırılabilir ve işlemi daha ucuz kılarlar. Politikayı ortadan kaldırmazlar. Onu sıkıştırırlar. Sıkıştırma kayıplıdır. Kayıp, kayıtta kaydedilir.