Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
İtaat Eden ama Yine de Zarar Veren Agent'lar: Bir Spesifikasyon Hatası Olarak Philadelphia İhbarı
Philadelphia'daki sahte ihbar vakası bir halüsinasyon hikâyesi değil. Bir spesifikasyon hatası: bir agent, ön koşulları hiçbir zaman tanımlanmamış sonuç doğuran bir eylem gerçekleştirdi.
Runtime Yönetişimi Prompt Yönetişimini Yener: Nvidia Sentry ve Kill-Switch Tartışmasını Okumak
Prompt düzeyindeki kontroller tavsiye niteliğindedir çünkü olasılıksal bir sistemin içinde yaşarlar. Runtime müdahalesi, eylemlerin somutlaştığı yerde durur ve otorite oraya aittir.
OpenShell Belirtiyi Tedavi Ediyor: Agent Güvenliği Kill Switch Değil, Sözleşme Gerektiriyor
Runtime containment, kötü davranan bir agent'ı durdurabilir; ancak önceden beyan edilmiş bir izin verilen eylemler sözleşmesi olmadan bu, önleme değil hasar sınırlamadır.
İzolasyon Bir Kontrol Yüzeyi Değildir: Nvidia'nın OpenShell'ini Tersinden Okumak
Sandbox'lar kaçışları durdurur; bir agent'ın ne yapmaya yetkili olduğunu tanımlamazlar. Agent güvenliği, runtime'ın üstünde bir yetki katmanına ihtiyaç duyar, daha hızlı bir kill switch'e değil.
Agent'lar Daha Fazla Özerkliğe Değil, Daha Dar Araç Yüzeylerine İhtiyaç Duyar
Agent'ların haddini aşması çoğunlukla modelden değil, araç arayüzünden başlar. Bir agent'ın çağırdığı yüzeyi daraltmak, onu guardrail'lere sarmaktan çok daha yüksek kaldıraçlı bir düzeltmedir.
Ret, Bir Model Özelliği Değil, Bir Yönlendirme Kararıdır
Agent'ın yetkisini aşması genellikle modelin yukarısında eksik bir yetkilendirme kararıdır. Güvenlik yalnızca alignment eğitiminde değil, istek yolunda yer alır.
Sandbox Kaçışı Bir Yetenek Bütçesi Problemidir
Agent sistemlerindeki containment hataları, eksik jailbreak'ler değil, yanlış fiyatlandırılmış yetenek tahsisleridir. Kontrol yüzeyi, erişilebilir sistemler üzerinde çalıştırma başına bir bütçedir.
Sandbox Sözleşmeleri: Bir Agent Üretim Uç Noktasına Dokunmadan Önce Neyi Kanıtlamalı
Agent containment bir izin ve doğrulama sözleşmesidir, bir guardrail prompt'u değil. Her tool sınırının, agent'ın çalışma zamanında pazarlık edemeyeceği bir ön koşula ihtiyacı vardır.
Kodlama Ajanları Bir Uyarı Etiketine Değil, Sandbox Sözleşmesine İhtiyaç Duyar
Otonom bir kodlama ajanının etki alanı, sandbox ve ağ çıkış kurallarıyla tanımlanır. Ajanı tanımlamadan önce bu sözleşmeyi belirtin.