Sıralama problemi
Otonom ajanlar kendine özgü bir biçimde başarısız olur: eylemin yerinde olup olmadığını kimse kontrol etmeden önce harekete geçerler. Plan makul görünüyordu, tool call düzgün biçimlendirilmişti ve yan etki gerçekleşti. Uyuşmazlık ancak sonradan, bir logda ya da bir mutabakat işinde ortaya çıkar. O noktada ödeme çoktan gerçekleşmiştir, silme işlemi yayılmıştır ya da giden mesaj okunmuştur.
Bu yazı tek bir görüşü savunuyor: yürütme doğrulaması ancak plan ile yan etki arasında konumlandığında karşılığını verir. Bu da doğrulama katmanının asenkron bir denetim akışı değil, tool call'ın senkron bir bağımlılığı olması gerektiği anlamına gelir. Sonradan yapılan doğrulama, hasar oluştuktan sonra kanıt üretir ve çalışmayı değiştiremez. Yol içi doğrulama her tool call'a gecikme ekler, dolayısıyla yalnızca geri döndürülemez eylemlere kapsamlandırılmalıdır.
Kontrol, sıralamanın kendisidir. Geri kalan her şey enstrümantasyondur.
Doğrulamanın iki yeri
Bir doğrulama adımının bulunabileceği tam olarak iki yer vardır ve bunlar zıt özelliklere sahiptir.
Sonradan doğrulama tool call döndükten sonra çalışır. Ucuzdur, eklenmesi kolaydır ve faydalı çıktılar üretir: denetim izleri, sapma raporları, uyarılar. Çalışmayı değiştiremez. Kontrol tetiklenirse yan etki zaten gerçekleşmiştir. Sonradan yapılan kontroller, ekiplerin bir ajanın bir haftadır bozuk kayıtlar yazdığını keşfetme biçimidir. Bu değerli bir keşif ve kötü bir kontroldür.
Yol içi doğrulama plan ile tool çağrısı arasında çalışır. Kontrol bir karar döndürmeden tool call yürütülmez. Kötü bir yan etkiyi önleyebilecek tek sıralama budur ve kapılan her çağrıda gecikme maliyeti doğuran tek sıralama da budur. Model güdümlü bir döngü üzerindeki senkron bir kapı bedava değildir: bir gidiş-dönüş ekler, zaman aşımına uğrayabilir ve kendisi de başarısız olabilir. Mühendislik sorusu bu maliyeti ödeyip ödememek değil, nerede ödeyeceğidir.
Eylemleri geri döndürülebilirliğe göre sınıflandırma
Kapsamlandırma kuralı geri döndürülebilirliktir. Bir eylem, geri alınması ajanın sahip olmadığı bir işbirliğini gerektiriyorsa ya da geri alma işleminin kendisi bir yan etkiyse geri döndürülemezdir.
Örnekleme ve asenkron incelemeye toleranslı:
- Okumalar. Eskimiş ya da yanlış veri döndüren bir okuma, yeniden okunarak telafi edilebilir. Yalnızca yetkilendirme ve egress üzerinde kapı kurun, içerik üzerinde değil.
- Taslaklar. Hiç gönderilmeyen bir taslak etkisizdir. İnceleme asenkron olabilir.
- Staging yazmaları. Bir staging namespace'ine ya da yalnızca ekleme yapılan bir tampona yapılan yazmalar, üretime terfi ettirme işleminin kendisi kapılanmış olmak kaydıyla gecikmeli incelemeye tolerans gösterir.
Senkron kontrollere ihtiyaç duyanlar:
- Ödemeler ve transferler. Para hareketi, geri döndürülemez eylemin kanonik örneğidir. Geri alma işlemi bir karşı tarafa bağlı olan bir iadedir.
- Silmeler. Kalıcı silmeler ve zincirleme etki yaratan her silme senkron bir kapı gerektirir. Yumuşak silmeler farklı bir sınıftır.
- Giden mesajlar. E-posta, sohbet, webhook'lar ve herkese açık gönderiler okunmamış hâle getirilemez. Geri çağırma bir geri alma değildir.
- Dış yazmalar. Güven sınırının dışındaki bir sisteme yapılan her yazma, üçüncü taraf API'leri ve paylaşılan veritabanları dâhil, ajanın sahip olmadığı durumu değiştirir.
Sınıflandırma çağrı başına çıkarımsanmalı değil, tool başına bildirilmelidir. Bazen okuma bazen yazma olan bir tool, iki tool'dur. Geri döndürülebilirlik sınıfındaki belirsizlik başlı başına bir kusurdur.
Bir kontrolün gerçekte neyi doğrulayabileceği
Senkron bir kapı, ancak değerlendirdiği yüklemler kadar iyidir. Dördü inşa edilmeye değerdir ve birbirleriyle birleşirler.
Bildirilmiş bir şemaya karşı argüman biçimi. Tool'un girdi sözleşmesi bir şemadır ve kontrol, önerilen argümanları çağrıdan önce buna karşı doğrular. Bu, tip sapmasını, eksik zorunlu alanları ve bir modelin yanlış yapıya sahip makul görünen bir nesne ürettiği hata sınıfını yakalar. Şema doğrulaması ucuzdur ve her geri döndürülemez tool için yol içine aittir.
Egress sözleşmesine karşı hedef. Her tool, veriyi nereye göndermesine izin verildiğini bildirir: hangi host, hangi hesap, hangi kanal. Kontrol, çözümlenen hedefi bu sözleşmeyle karşılaştırır. Bu, bir ajanın getirilen içerikte görünen bir adrese payload göndermeye ikna edilmesini durduran kontroldür. Egress sözleşmesi statik bir allowlist'tir; kontrol ise çalışma zamanı karşılaştırmasıdır.
Çalışmanın harcama tavanına karşı kalan bütçe. Çalışma bir bütçe taşır. Geri döndürülemez bir eylemden önce kontrol, kalan bütçeyi ve önerilen maliyeti okur ve eylem tavanı aşacaksa reddeder. Bu çağrı başına bir sınır değildir; çalışma başına bir sınırdır, böylece tek tek küçük eylemlerden oluşan bir döngü büyük bir eyleme toplanamaz. Mekanizma, kapının eylemle atomik olarak azalttığı b
de geçemez.
Yazılan değerlerin provenance'ı. Bu en az yaygın olan ve en önemlisidir. Kalıcı hâle getirilecek her değer bir provenance etiketi taşır: bir tool sonucundan türetilmiş, kullanıcı girdisinden türetilmiş, bir model tamamlamasından türetilmiş. Kontrol, provenance'ı model tarafından üretilmiş bir değeri tool kaynaklı ya da kullanıcı kaynaklı bir kaynak gerektiren bir alana yazmayı reddeder. Bir ajanın halüsinasyonla üretilmiş bir olguyu bir kayda aklamasını durduran budur. Bu olmadan akıcı bir tamamlama bir veritabanı satırına dönüşür ve satır, onu üreten bağlamdan daha uzun yaşar.
Provenance takibi yukarı akışta disiplin gerektirir: tool sonuçları sınırda etiketlenmeli ve planlayıcı dönüşümler boyunca etiketleri korumalıdır. Bu gerçek bir iştir ve biçimi kontrol eden bir kapı ile anlamı kontrol eden bir kapı arasındaki farktır.
Maliyet ve başarısızlık davranışı
Kapı artık kritik yol üzerindedir, dolayısıyla başarısızlık modları çalışmanın başarısızlık modlarıdır.
Doğrulama zaman aşımında fail closed davranın ve bunu bir yapılandırma bayrağı değil varsayılan hâline getirin. Zaman aşımına uğrayıp eyleme izin veren bir kapı, kapı değildir. Kontrol, son tarihi içinde bir karar döndüremezse eylem yürütülmez ve çalışma zaman aşımını birinci sınıf bir hata olarak yüzeye çıkarır. Bunu bir bayrak yapmak, bayrağın bir olay sırasında izin verici olarak ayarlanmasını ve orada bırakılmasını davet eder. Güvenli davranış tek davranış olmalıdır ya da güvensiz olan, kendisi de kaydedilen açık ve denetlenebilir bir geçersiz kılma gerektirmelidir.
Doğrulama katmanının kendi yanlış pozitif oranını ölçün. Meşru eylemleri engelleyen bir kapı, devre dışı bırakılan bir kapıdır. Yanlış pozitif oranı, kapının reddettiği doğru eylemlerin oranıdır. Yüklem başına izlenmelidir, çünkü bir şema kontrolü ile bir provenance kontrolü farklı biçimlerde başarısız olur. Gürültülü bir provenance yüklemi, bir operatörün ilk kapatacağı şey olacaktır ve kapatıldığında aklama yolu yeniden açılır. Dürüst ödünleşim şudur: bir yüklemi sıkılaştırmak yanlış negatifleri azaltır ve yanlış pozitifleri artırır; kapının hayatta kalması, ikinci sayıyı kimsenin onu kaldırmak istemeyeceği kadar düşük tutmaya bağlıdır.
İkinci dereceden bir maliyet vardır. Her senkron kontrol bir bağımlılıktır ve bağımlılıklar başarısız olur. Kapı, koruduğu tool'lardan daha yüksek kullanılabilirliğe sahip olmalıdır, yoksa kesinti hâline gelir. Bu genellikle yüklemlerin her eylemde uzak bir politika servisi çağrılarak değil, önbelleğe alınmış sözleşmelere ve sayaçlara karşı yerel olarak değerlendirilmesi anlamına gelir.
Bunun döngüyü bıraktığı yer
Sıralama argümanından çıkan mimari küçüktür. Tool'lar bir geri döndürülebilirlik sınıfı bildirir. Geri döndürülemez tool'lar bir şema, bir egress sözleşmesi, bir bütçe etkileşimi ve bir provenance gereksinimi bildirir. Ajan döngüsü kapıyı çağırır ve kapı tool'u çağırır. Sonradan doğrulama hâlâ vardır, ancak işi zaten gerçekleşmiş eylemleri yakalamak değil, eklenmesi gereken yüklemleri bulmaktır.
Rahatsız edici kısım, bunun doğrulamayı sistemin sıcak yoluna itmesidir; burada gecikmesi ve yanlış pozitifleri her çalışma tarafından hissedilir. Mesele de budur. Çalışma tarafından hissedilmeyen bir kontrol, çalışmayı kontrol etmiyordur. Alternatif olan asenkron denetim akışı, ajanın ne yaptığının bir kaydıdır ve bir kayıt bir karar değildir.