Yeni karar modelleri aslında ne yapar
Bir karar modeli, dallar arasında seçim yapan küçük, hızlı bir sınıflandırıcıdır. Ajanik sistemlerde şu tür soruları yanıtlar: bu isteği hangi araç işlemeli, planlayıcı devam mı etmeli yoksa yükseltmeli mi, görevi hangi alt-ajan almalı. Model kimlik bilgilerini, bütçeleri veya kalıcı durumu tutmaz. Bir etiket veya yapılandırılmış bir seçim üretir. Bu seçim daha sonra bu şeyleri tutan bir çağıran tarafından uygulanır.
Gecikme bütçeleri, modeli çalıştırmanın sıkıştırılmış bir görünümünü görmeye zorlar. Saniyenin altında bir sürede karar döndürmek için router bir özet alır: son turlar, bir görev tanımı, belki mevcut araçların bir listesi. Tam yürütme izini, birikmiş maliyeti, kullanıcının yetkilerini veya önceki dalların aşağı yönlü yan etkilerini görmez. Kararları yapısı gereği kayıplıdır. Bu bir kusur değildir; router'ı sık çağrılabilecek kadar ucuz kılan tasarım ödünleşimidir. Ancak bu, router'ın bir kısıtı garanti eden bileşen olamayacağı anlamına gelir.
Bu modeller için yayınlanan kıyaslamalar, ayrılmış görev kümelerinde yönlendirme doğruluğunu ölçer. Sınırlama ölçmez: yanlış bir dalın yetkisiz bir eyleme neden olup olamayacağını, bütçeyi aşıp aşamayacağını veya veri sızdırıp sızdıramayacağını. Doğruluk ve sınırlama farklı özelliklerdir. Bir router yüksek doğrulukta olabilir ve yine de güvensiz bir uygulama noktası olabilir, eğer çağıran onun çıktısını yetkili kabul ederse.
Kategori hatası: yönlendirme ile uygulama
Uygulama, reddedebilen bir bileşen gerektirir. Bir router önerir; bir uygulayıcı reddeder. Router tavsiye niteliğindeyse, çağıran öneriyi takip edip etmeyeceğine karar verir. Router yetkiliyse, bir denetim izine, girdilerini doğrulamanın bir yoluna ve model yanlış olduğunda güvenli olan bir başarısızlık moduna ihtiyaç duyar. Çoğu karar modeli bunların hiçbirini sağlamaz. XACML anlamında politika karar noktaları değildirler; bunlar bir isteği politikaya göre değerlendirir ve yükümlülüklerle birlikte izin veya ret kararı döndürür. Bir karar modeli bir dal etiketi döndürür. Fark anlamsal değil; mimaridir.
Somut bir mekanizma düşünün. Bir router'ın read_file aracı ile write_file aracı arasında seçim yaptığını varsayalım. Router sıkıştırılmış bir görünüm görür: kullanıcı "yapılandırmayı güncelle" dedi. write_file seçer. Çağıran bunu izin olarak kabul ederse, yazma işlemi gerçekleşir. Router, kullanıcının yazma erişimi olup olmadığını, dosyanın korumalı olup olmadığını veya değişikliğin bir bütçeyi aşıp aşmadığını hiç kontrol etmedi. Bu kontroller aşağı yönlü bir uygulayıcıya aittir. Uygulayıcı yoksa, başarısızlık modu ortadan kaldırılmaz; router'ın doğruluğundan çağıranın güvenine taşınır.
Dürüst ödünleşim, uygulamanın gecikme ve karmaşıklık eklemesidir. Aşağı yönlü bir uygulayıcı, durum aramaları, kriptografik kontroller veya harici çağrılar gerektirebilecek politikayı değerlendirmelidir. Bu maliyet, ekiplerin uygulamayı router'a katlama cazibesine kapılmasının nedenidir. Ancak hızlı bir sınıflandırıcı, bir politika motoru haline gelmeden onun ağırlığını taşıyamaz ve o noktada artık 2B bir router değildir.
Bir yerleştirme kuralı: planlayıcı döngüsü içinde, asla çıkış yolunda değil
Karar modellerini, herhangi bir yan etki oluşmadan önce planı şekillendirebilecekleri planlayıcı döngüsü içine koyun. Onları, çıktılarının doğrudan harici bir eylemi tetiklediği çıkış yoluna asla yerleştirmeyin. Planlayıcı döngüsü yanlış bir dalı tolere edebilir çünkü plan hâlâ incelemeye, simülasyona veya aşağı yönlü bir uygulayıcıya tabidir. Çıkış yolu edemez.
Her router'ı kapalı başarısız olan bir aşağı yönlü uygulayıcıyla eşleştirin. Uygulayıcı, kendi politikası, kendi kimlik bilgileri ve kendi denetim günlüğü olan ayrı bir bileşen olmalıdır. Router önermiş olsa bile bir eylemi reddedebilmelidir. Uygulayıcı kapalı başarısız olmalıdır: politikayı değerlendiremiyorsa reddeder. Bu, router'ın tahmin etme olan başarısızlık modunun tam tersidir.
Router'ın çıktı etiketini değil, girdi anlık görüntüsünü günlüğe kaydedin. Girdi anlık görüntüsü, modelin gerçekte gördüğü sıkıştırılmış görünümdür. O olmadan, yanlış bir dal açıklanamaz. Onunla, router'ın neden öyle seçtiğini ve sıkıştırmanın kritik bir kısıtı atlayıp atlama
Değerlendirme çıkarımları
Router değerlendirmeleri, ayrılmış görev kümeleri değil, düşmanca girdiler gerektirir. Ayrılmış bir küme, router'ın bir etiketle ne sıklıkla anlaştığını ölçer. Düşmanca bir küme, router yanlış olduğunda ne olduğunu ölçer: yanlış dal zarara mı neden olur, yoksa uygulayıcı onu yakalar mı? Güvenlik için önemli olan ikinci sorudur.
Dalın doğruluğunu değil, yanlış dalın maliyetini ölçün. Her olası yanlış yönlendirme için en kötü durum sonucunu tahmin edin: yetkisiz bir yazma, bütçe aşımı, veri sızıntısı, takılı bir döngü. Maliyet aşağı yönlü bir uygulayıcı tarafından sınırlandırılmışsa, router'ın doğruluğu bir performans metriğidir. Maliyet sınırsızsa, router kılık değiştirmiş bir uygulama noktasıdır ve bu bir tasarım kusurudur.
Bu, değerlendirme hedefini yeniden çerçeveler. "Router doğru aracı ne sıklıkla seçer?" diye sormak yerine, "yanlış olanı seçtiğinde etki alanı nedir?" diye sorun. Cevap, router'ın ucuz ve kayıplı olup olamayacağını veya bir politika karar noktasıyla değiştirilmesi gerekip gerekmediğini belirler.
Bunun ajan mimarileri için anlamı
Amazon'un Strands Decider'ı ve Cloudflare'in Clef'i gibi karar modelleri faydalı yönlendirme ilkelleridir. Dallanma maliyetini düşürür ve ajan döngülerini daha duyarlı hale getirir. Ancak kontrol yüzeyleri değildirler. Onları öyle ele almak, başarısızlık modunu ortadan kaldırmak yerine taşır. Doğru desen katmanlıdır: planlayıcı döngüsü içinde hızlı, kayıplı bir router, kapalı başarısız olan bir aşağı yönlü uygulayıcı ve router'ın girdi anlık görüntüsünü kaydeden bir denetim izi. Bu desen, router'ın sınırlamalarını kabul eder ve uygulama yükünü ait olduğu yere koyar.
Ödünleşim açıktır: uygulama için gecikme ve karmaşıklıkla ödersiniz ve sınırlama kazanırsınız. Tam durumu hiç görmeyen ve reddedemeyen bir sınıflandırıcıdan sınırlama elde edemezsiniz. Mühendislik işi, router'ı kayıplı kararlarının güvenli olduğu yere yerleştirmek ve geri kalanını yakalayan uygulayıcıyı inşa etmektir.