Küçük bir karar modelinin faydalı rolü
Bir karar modeli, başka bir yerde zaten verilmiş bir kararı sıkıştırdığında yerini hak eder. Kalıp dardır ve açıkça ifade edilmeye değer: bir adım, zaten tanımlanmış küçük bir sonuç kümesine sınıflandırılır — devam et, yükselt, reddet, yeniden planla — ve bu sınıflandırma yerel olarak, barındırılan bir modele gidiş-dönüşün uygulanabilir olmadığı bir gecikme bütçesi içinde gerçekleşir. Aynı kalıp, aksi halde bir frontier model çağrısı tüketecek olan yüksek frekanslı, düşük riskli yönlendirmeyi de kapsar. Bir araç seçimi adımı, retrieval-vs-answer tercihi, retry-vs-fail dalı: bunları değerlendirmek ucuz, her turda yukarı akıtmak pahalıdır.
Bu gerçek bir optimizasyondur. Kuyruk gecikmesini azaltır, yaygın yol için uzak bir servise bağımlılığı ortadan kaldırır ve pahalı modeli gerçekten ihtiyaç duyan durumlara saklar. Bunların hiçbiri karar modelinin yetkili olmasını gerektirmez. Karar modelinin türev olmasını gerektirir.
Bu ayrım önemlidir çünkü iki çerçeveleme farklı mühendislik artefaktları üretir. Model türevse, politika bağımsız olarak var olur ve incelenebilir. Model yetkiliyse, politika yalnızca ağırlıklar olarak var olur ve ne söylediğini bilmenin tek yolu onu çalıştırmaktır.
Soyutlamanın sızdığı yer
Üç başarısızlık modu tekrarlanır ve bunlar arızi değil yapısaldır.
Olasılıksal kapıların kompozisyon eksikliği. Bir kez uygulanan %99 doğru bir kapı, %99 doğru bir kapıdır. Uzun bir yörünge boyunca uygulanan %99 doğru bir kapı, %99 güvenli bir yörünge değildir. Hatalar bağımsız adımlar arasında çarpımsal olarak birikir ve bir agent döngüsündeki kapılar her zaman bağımsız değildir — erken bir yanlış yönlendirme, sonraki her adımın girdi dağılımını değiştirir. Aritmetik acımasızdır: her biri yüksek olasılıkla doğru olan bir karar zincirinin yine de anlamlı bir yanlış son durum şansı vardır. Olasılıksal çıktılar garantilere dönüşmez ve adım başına doğruluk ne kadar yüksek olursa olsun onları garantiye çevirmez.
İnceleme altında opaklık. Yalnızca ağırlıklar olarak var olan politika, ondan sorumlu kişiler tarafından incelenemez, diff'lenemez veya tasdik edilemez. Bir gözden geçiren allowlist okuyabilir. Bir gözden geçiren checkpoint okuyamaz. Bir olay incelemesi agent bu aracı neden bu kapsamla çağırdı diye sorduğunda, sınıflandırıcı ona 0.87 verdi yanıtı bir denetçiyi tatmin eden bir yanıt değildir ve bir düzeltmeyi destekleyen bir yanıt da değildir.
Katmanlama kuralı
Önce deterministik politika. Kapsamlar, egress allowlist'leri, harcama tavanları ve araç sözleşmeleri — incelenebilir artefaktlar olarak ifade edilir: bir insanın okuyabileceği ve bir CI işinin diff'leyebileceği dosyalar, kayıtlar, konfigürasyon. Bunlar izin verilen eylem uzayını tanımlar. Sıkıcıdırlar ve sıkıcı olmaları tam da amaçtır: tasdik edilebilen katman onlardır.
İkinci olarak karar modelleri. Deterministik katmanın zaten izin verdiği seçenekler arasından seçim yaparlar. Uzayı genişletmezler. Politika katmanının zaten yetkilendirmediği bir aracı, bir kapsamı veya bir hedefi devreye sokmazlar.
Test tek bir cümledir: modelin karar verebileceği her şey, deterministik katmanın karar verebileceği — yalnızca daha yavaş — bir politika olarak ifade edilebilmelidir. Bir karar bir kural olarak yazılamıyorsa — karmaşık bir kural bile olsa, duruma atıfta bulunan bir kural bile olsa — o zaman bu bir yönlendirme kararı değil, bir politika değişikliğidir ve incelenebileceği yere, yukarı akışa aittir.
Somut bir mekanizma bunu operasyonel kılar. Her karar noktası için, aynı sonuç uzayını kodda uygulayan deterministik bir fallback bulundurun. Fallback'in aynı derecede iyi olması gerekmez; doğru ve okunabilir olması gerekir. Model sıcak yolda çalışır. Fallback gölgede, aynı girdiler üzerinde çalışır ve ne söyleyeceğini kaydeder. İki çıktı karşılaştırılır ve sapma; girdi, modelin tercihi ve fallback'in tercihiyle birlikte loglanır. Bu aynı anda üç şey verir: incelenebilir bir niyet beyanı, mg)lu.
Değerlendirme sonuçları
Katmanlama yerine oturduğunda değerlendirme şekil değiştirir.
Her deployment bir gölge yol gerektirir. Deterministik fallback, modelin yerine değil, yanında çalışır. Çıktısı kaydedilir. Bu bir ayar hedefi değil — bir izleme sinyalidir. Sapma, modelin belirtilen politikaya göre hareket ettiğini söyler. Modelin yanlış olduğunu söylemez ve politikanın yanlış olduğunu da söylemez. İkisinin ayrıldığını söyler ve hangisinin değişmesi gerektiğine bir insanın karar vermesi gerekir.
Ödünleşim dürüsttür ve adlandırılmaya değer. Gölge yollar compute ve depolama maliyeti getirir ve deterministik fallback'in bir stub değil, birinci sınıf bir artefakt olarak bakımını gerektirir. Karşılığında sistem incelenebilir bir politika yüzeyi, bir kayma sinyali ve bir olay sırasında ilk kez yazılmayan bir bozulmuş mod kazanır. Bunu atlayan ekipler bedelini sonra öder; genellikle kimsenin politikanın ne olması gerektiğini yeniden kurgulayamadığı bir olay biçiminde.
Bunun dışladığı şey
Karar modelinin politika olduğu, uçtan uca eğitildiği ve deterministik katmanın ince bir sarmalayıcıya indirgendiği çerçevelemeyi dışlar. Bu çerçeveleme daha az hareketli parça gibi görünür. Aslında daha az incelenebilir parçadır ki bu aynı şey değildir.
Aynı zamanda karşıt aşırı düzeltmeyi de dışlar: politika konusunda güvenilmez oldukları için küçük modelleri hiç kullanmayı reddetmek. Onlara yönlendirme konusunda güvenilebilir; zaten bunun içindirler. Başarısızlık modelde değildir. Başarısızlık, kuralların yaşadığı yer olmasını istemektedir.
Zaten yazdığınız politikayı sıkıştırın. Politikayı bir insanın okuyabileceği bir yerde tutun. İkisi çeliştiğinde, bunu ayarlanıp giderilecek gürültü değil, bilgi olarak ele alın.