Yönetişim boşluğu
Bugün kurumsal agent yönetişiminin çoğu, üzerine bir uyumluluk sözlüğü eklenmiş gözlemlenebilirliktir. Bir dashboard, bir agent'ın okumaması gereken bir müşteri kaydını okuduğunu, bir ödeme endpoint'ini iki kez çağırdığını veya kimlik bilgisi içeren bir context window'u üçüncü taraf bir modele ilettiğini kaydeder. Kayıt doğrudur. Aynı zamanda çok geçtir.
Başarısızlık modu yapısaldır, kapsam meselesi değildir. Bir logging pipeline'ı, tanımladığı kararın alt tarafında yer alır. Bir olay store'a ulaştığında tool call çoktan dönmüş, yan etki gerçekleşmiş ve run ilerlemiştir. Bir ihlali kaydeden dashboard, run ile olan tartışmayı çoktan kaybetmiştir.
Bu, agent'lar için geleneksel servislerden daha fazla önem taşır çünkü davranış birimi bir request değil, bir yörüngedir. Tek bir run, her biri bir öncekine bağlı olarak, birden fazla sağlayıcı ve kimlik bilgisi üzerinden düzinelerce tool call yapabilir. Bir yörüngenin sonradan incelenmesi ne olduğunu açıklayabilir. Üçüncü çağrı başarılı olduktan sonra dördüncü çağrıyı engelleyemez. Yalnızca tanımlayan yönetişim yönetişim değildir; bir günlüktür.
Bir uygulama noktası neye benzer
Bir uygulama noktası, bir politika kararının bir eylemi yürürlüğe girmeden önce engelleyebildiği veya yeniden şekillendirebildiği senkron bir kesişmedir. Agent çalışma zamanları için riskin çoğunu üç dikiş taşır.
Tool çağrısı. Modelden bir tool'a yapılan her çağrı — function call, MCP tool, HTTP request, shell komutu — gönderimden önce bir karardan geçer. Karar; tool kimliğini, argüman yükünü, çağıran run ve adımı ve birikmiş yörünge özetini alır. İzin ver, reddet veya bir yeniden yazma döndürür: daraltılmış argümanlar, ikame edilmiş salt okunur bir varyant, enjekte edilmiş bir onay adımı.
Veri çıkışı. Güven sınırından çıkan her yük — bir model sağlayıcısına, üçüncü taraf bir API'ye, bir webhook'a — iletimden önce sınıflandırma etiketleri ve gizli kalıplar açısından incelenir. Context-window sızıntısının yakalandığı yer burasıdır, prompt'ların run sonrası taramasında değil.
Kimlik bilgisi verilmesi. Her kısa ömürlü token, anahtar veya oturum kimlik bilgisi, verilme anında politika uygulayan bir broker aracılığıyla üretilir. Kapsam, run'a değil belirli çağrıya bağlanır. Hiç verilmeyen bir kimlik bilgisi kötüye kullanılamaz ve bu dikiş, en az ayrıcalığı uygulamak için en ucuz yerdir çünkü etki alanı tek bir token'dır.
Her dikişin, ifade etmesi kolay ve inşa etmesi zor üç özelliğe ihtiyacı vardır.
Birincisi, sınırlı bir gecikme bütçesi. Senkron bir karar her tool call'un kritik yolunda yer alır, bu nedenle politika servisinin ortalama değil, bir yüzdelik dilim olarak ifade edilen bir gecikme tavanı vardır. Bütçe aşılırsa, çağıranın açık bir soket yerine tanımlanmış bir davranışa ihtiyacı vardır.
İkincisi, politika servisi kullanılamadığında varsayılan-reddet yolu. Dürüst ödünleşim: varsayılan-reddet, bir politika servisi kesintisi sırasında üretim run'larını bozar. Varsayılan-izin vermez ve ayrıca yönetişimi tam da en çok ihtiyaç duyulduğu anda sessizce devre dışı bırakır. Savunulabilir konum, yüksek sonuçlu dikişlerde (kimlik bilgisi verilmesi, harici endpoint'lere çıkış) varsayılan-reddet ve daha düşük sonuçlu okumalar için önbelleğe alınmış, sürümlenmiş bir karar kümesidir; önbelleğin bayatlığı sınırlandırılır ve denetim kaydında görünür kılınır.
Üçüncüsü, determinizm. Aynı politika sürümü ve aynı request verildiğinde, karar aynı olmalıdır. Duvar saatine bağlı kurallar yok, rastgele örnekleme yok, değerlendiricide değiştirilebilir global durum yok. Determinizm, denetimde replay'i anlamlı kılan şeydir; o olmadan, kaydedilmiş bir karar kanıt değil bir anekdottur.
Üçünü de karşılayan somut bir mekanizma, açık bir değerlendirme bağlamına sahip bir karar sözleşmesidir:
{
"request_id": "run-8f2c/step-14",
"policy_version": "2025-03-11.4",
"seam": "tool_invocation",
"subject": {"agent": "reconciliation-v3", "run": "run-8f2c"},
"action": {"tool": "payments.transfer", "args_hash": "sha256:9c1e..."},
"context": {"data_classes": ["pii"], "egress_target": "internal"},
"decision": "rewrite",
"rewrite": {"tool": "payments.transfer_preview"},
"latency_ms": 7,
"cache": "fresh"
}
Değerlendirici bu kaydı tüketir, bir karar üretir ve çalışma zamanı her ikisini de kalıcı hale getirir. args_hash, denetim kaydını ham yüklerden arındırırken saklanan argüman kümesine karşı replay edilebilir kalmasını sağlar. policy_version alanı yük taşıyan alandır.
Operasyonel bir gereklilik olarak politika sürümleme
Politikalar değişir; run'lar değişmez. Politika sürümü A altında başlayan ve sürüm B yayınlandığında hâlâ yürütülen bir run, A tarafından yönetilmelidir, aksi halde denetim kaydı tutarsız hale gelir. Kuralı ifade etmek basittir: her kararda değerlendirilen politika sürümünü kaydedin ve açık bir yeniden değerlendirme tetiklenmediği sürece sürümü run'ın ömrü boyunca sabitleyin.
Sabitleme gereklidir ancak yeterli değildir. Ayrıca üretimi bozmadan politikayı değiştirmek de güvenli olmalıdır. Mekanizma gölge değerlendirmedir. Aday bir politika sürümü, aktif olanın yanında dağıtılır. Her karar isteği her ikisi tarafından değerlendirilir. Aktif sürümün kararı uygulanır; adayın kararı kaydedilir ve karşılaştırılır. Operatörler, herhangi biri gerçek bir run'ıır.
Operasyonel maliyetin çoğu gölge değerlendirmede yaşar. Değerlendirme yükünü ikiye katlar, adaydan aynı determinizm garantilerini gerektirir ve anlamlı sapmayı gürültüden ayırt eden bir karşılaştırma raporuna ihtiyaç duyar. Getirisi, politika dağıtımlarının değişiklik yönetimi olayları olmaktan çıkıp rutin hale gelmesidir.
Alternatif — politika değişikliklerini doğrudan uygulama yoluna göndermek — öngörülebilir sonucu üretir. Operatörlerin tolere edemeyeceği bir yanlış-pozitif oranına sahip bir kural günler içinde devre dışı bırakılır ve uygulama noktası dekoratif hale gelir.
İşe yarayıp yaramadığını ölçmek
Uygulama noktaları küçük, faydalı bir metrik kümesi üretir. Önemli olanlar kapsam yüzdeleri değildir.
Tool başına ve dikiş başına engellenen-izin verilen oranlarını izleyin. Engelleme oranı sıfıra yakın olan bir tool ya gerçekten güvenlidir ya da hiç tetiklenmeyen bir kural tarafından yönetilmektedir; oran tek başına hangisi olduğunu söylemez, ancak nereye bakacağınızı söyler. Bir politika değişikliğinden sonra engelleme oranı sıçrayan bir tool, gölge incelemesi için bir adaydır.
Operatörleri kontrolleri devre dışı bırakmaya iten yanlış-pozitif oranını izleyin. Yönetişimin üretimle temasında hayatta kalıp kalmayacağını belirleyen metrik budur. Kapatılan bir kontrol, kontrol değildir. Ölçüm, devre dışı bırakma süresini içermelidir: gürültülü bir kural, biri onu atlatmadan önce ne kadar hayatta kalır. Kısa devre dışı bırakma süresi, politikanın gerçek trafiğe görünürlük olmadan yazıldığının bir işaretidir ve çözüm, öğüt değil gölge değerlendirmedir.
Dikişlerdeki karar gecikmesini, gecikme bütçesinin adlandırdığı yüzdelik dilimde izleyin. Bütçesini ortalamada karşılayan ve yoğun saatlerde kaçıran bir politika servisi, yoğun saatlerde atlanacak bir politika servisidir.
Son olarak, replay sadakatini izleyin: kaydedilen kararların, saklanan politika sürümü ve request'e karşı yeniden değerlendirildiğinde aynı şekilde yeniden üretilen oranı. Bu, determinizmin operasyonel testidir. Kendi kararlarını replay edemeyen bir yönetişim sistemi davranışı tanımlıyordur, onu kısıtlamıyordur — ki bu makalenin başladığı yerdir.
Önemli olan katman
İşe yarayan yönetişim katmanı küçük, senkron ve sıkıcıdır. Üç dikişte oturur, bir gecikme bütçesi altında deterministik kararlar verir, sonucun yüksek olduğu yerde kapalı başarısız olur, politikalarını sürümler ve operatörlerin onu açık tutup tutmadığını ölçer. Politika belgeleri ve dashboard'lar o katmanın alt ürünleridir, onun ikameleri değil.
Önce uygulama noktalarını inşa edin. Denetim izi oradan kendini yazar.