Tek gibi görünen iki iş
Bir karar modeli bir yönlendirme sorusunu yanıtlar: mevcut durum göz önüne alındığında, hangi dalın başarılı bir yörüngeye çıkma olasılığı en yüksektir? Geçmiş davranışların izleri üzerinde eğitilir ve milisaniyeler içinde bir token üretir. Bir politika motoru farklı bir soruyu yanıtlar: mevcut durum ve önerilen eylem göz önüne alındığında, bu eyleme izin veriliyor mu? Bildirilmiş, incelenebilir bir kural kümesini değerlendirir ve milisaniyeler içinde bir karar döndürür.
Her ikisi de hızlı döndüğü ve her ikisi de kritik yol üzerinde yer aldığı için, mimari diyagramları sıklıkla onları "guardrail" veya "router" etiketli tek bir kutuya indirger. Bu indirgeme bir kategori hatasıdır. Bir router, yörüngeler üzerinde öğrenilmiş bir fonksiyondur. Bir politika motoru, kurallar üzerinde bildirimsel bir fonksiyondur. Farklı başarısızlık modları, farklı değişim ritimleri ve farklı kanıt yükümlülükleri vardır.
İkisi karıştırıldığında, bir model güncellemesi sistemin ne yapmasına izin verildiğini sessizce değiştirir. Eğitim çalışması, incelenmemiş bir politika değişikliği haline gelir ve bir olay incelemesinin ihtiyaç duyduğu denetim izi var olmaz.
İkame neden cazip
Router gecikmesi her agent adımında ödenir. Niyet sınıflandırmasında iyi puan alan 2B parametreli bir sınıflandırıcı, bir demoda guardrail gibi görünür: hızlıdır, barındırması ucuzdur ve agent'ı görevde tutuyor gibi görünür. Bildirimsel politika ise bunun aksine ayrı bir servis, kurallar için bir şema, bir inceleme süreci ve bir sürümleme hikayesi ekler. Ucuz yol, ilk olay bir eylemin neden yapıldığını açıklamayı gerektirene kadar kazanır.
Bir politika motorunun sağlaması gereken, bir sınıflandırıcının sağlayamayacağı şeyler
Determinizm. Aynı istek ve bağlam, model sürümleri arasında aynı kararı vermelidir. Bir sınıflandırıcının kararı bir ağırlık güncellemesi, bir sıcaklık değişikliği veya farklı bir gruplama sırası ile değişebilir. Bir politika motorunun kararı, bildirilmiş kuralların ve açık girdilerin bir fonksiyonudur.
Numaralandırılabilirlik. Bir denetçi, sistemin izin verdiği her eylem sınıfını listeleyebilmelidir. Bir sınıflandırıcı yoklanabilir, ancak yoklama numaralandırma değil örnekler üretir. Bu ayrım, soru "bu sistem geçen Salı ne yaptı?" değil de "bu sistem ne yapabilir?" olduğunda önemlidir.
Atıf. Her karar, bir olasılık değil, onu üreten kuralı adlandırmalıdır. Bir agent daha sonra yanlış görünen bir eylemde bulunduğunda, iz hangi kuralın buna izin verdiğini söylemelidir. 0.87'lik bir güven skoru bu soruyu yanıtlamaz.
Sürümleme. Kurallar bir eğitim ritmiyle değil, bir inceleme ritmiyle değişir. Bir politika motorunun sürüm geçmişi, incelenmiş değişikliklerin bir dizisidir; bir modelin sürüm geçmişi, eğitim çalışmalarının bir dizisidir. Bunlar farklı inceleyicilere ve farklı geri alma semantiklerine sahip farklı artefaktlardır.
Somut bir mekanizma farkı görünür kılar. Bir agent'ın transfer_funds çağrısı önerdiği bir araç sınırını düşünün. Bir karar modeli, benzer durumların sıklıkla başarılı görev tamamlamasının öncesinde geldiğini öğrendiği için o araca yönlendirebilir. Bir politika motoru, çağrıyı amount <= approved_limit, recipient in allowlist ve bir dizi eylem sınıfı için requires_human_approval gibi kurallara karşı değerlendirir. Router zaten izin verilen eylemler arasından seçim yapar; politika motoru seçilen eyleme hiç izin verilip verilmediğine karar verir. Router izin verilen kümeyi asla genişletmez.
İşleyen bir ayrım
Yük altında dayanan ayrım küçük ve açıktır.
- Karar modelleri zaten izin verilen eylemler arasından seçim yapar. Politikanın kabul ettiği küme üzerinde çalışırlar ve ona ekleme yapamazlar.
- Politika, yönlendirmeden sonra ve yürütmeden önce, araç sınırında değerlendirilir. Bu yerleşim, router'ın sistemin ne yapmasına izin verildiğini değiştirmeden değiştirilebilmesi anlamına gelir.
- Yönlendirilen her adım, kendisine izin veren kural tanımlayıcısını ize taşır. İz daha sonra hem yönlendirme kararını hem de yetkilendirme kararını içerir ve ikisi inceleme sırasında ayrılabilir.
- Model değişimleri, yalnızca bir doğruluk kontrolü değil, politika külliyatına karşı bir eval çalışması tetikler. Eval, yeni router'ın tercih ettiği eylemlerin izin verilen küme içinde
Bu ayrımın bir maliyeti vardır. Kritik yola bir servis çağrısı ekler ve ekipleri bir kural şeması ile bir inceleme süreci sürdürmeye zorlar. Dürüst ödünleşim, denetlenebilirlik ve sınırlandırılmış davranışa karşı gecikme ve operasyonel yüktür. Yalnızca salt okunur araçlar arasında yönlendirme yapan sistemler için bu yük haklı olmayabilir. Paraya, veriye veya dış yan etkilere dokunan sistemler için bu yük, bir eylemi sonradan açıklayabilmenin bedelidir.
Diğer yönde ikinci bir ödünleşim vardır. Fazla kaba bir politika motoru meşru yörüngeleri engeller ve ekipler onun etrafından dolaşır. Çözüm, motoru zayıflatmak değil, kural kümesini incelenebilir ve sürümlenmiş hale getirmektir; böylece onu genişletmek örtük değil, kasıtlı ve kayıtlı bir değişiklik olur.
Enstrümante edilecek başarısızlık modu
Önemli olan başarısızlık modu, router'ın tercih ettiği eylem ile politikanın izin verdiği küme arasındaki sapmadır. Sağlıklı bir sistemde, router'ın tercihleri neredeyse her zaman izin verilen kümenin içindedir ve politika redleri nadir ve açıklanabilirdir. Artan bir sapma oranı, modelin kuralların etrafından öğrendiğinin sinyalidir: politikanın sürekli reddettiği eylemleri öneriyordur ya da politikanın yalnızca kurallar yetişemediği için izin verdiği eylemleri öneriyordur.
Bunun için enstrümantasyon basittir. Yönlendirilen her adım için router'ın tercih ettiği eylemi, politika kararını ve kural tanımlayıcısını kaydedin. Ardından tercih edilen eylemin izin verilen kümenin dışına düşme oranını ve politikanın router'ın tercih etmediği bir eyleme izin verme oranını izleyin. İlk oranın yükselmesi, modelin izin verilmeyen davranışa doğru kaydığını gösterir. İkinci oranın yükselmesi, politika kümesinin router'ın öğrenilmiş dağılımından daha geniş olduğunu gösterir; bu farklı bir sorundur ama görülmeye eşit derecede değerdir.
Hiçbir oran diğerinin yerini tutmaz. Birlikte, ne bir sınıflandırıcının doğruluğunun ne de bir politika motorunun kural listesinin tek başına sağladığı bir tablo verirler. Bir olay incelemesinin ihtiyaç duyduğu tablo budur ve hızlı bir sınıflandırıcının üretemeyeceği şeydir.
Sonuç
Küçük karar modelleri bir gecikme bütçesidir. Kritik yolda hız satın alırlar ve bunda iyidirler. Bir yönetişim katmanı değildirler ve onları öyle görmek, iki kontrol yüzeyini inceleme ritmi ve atıf olmayan tek bir artefakta indirger. Ayrımın bedeli vardır, ancak bu, açıklanabilen bir sistem ile yalnızca yeniden eğitilebilen bir sistem arasındaki farktır.