Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Niyet Bir Kapsam Değildir: Ajanlar İçin Erişim Kontrolü Neden Prompt'lardan Çıkarılamaz
Niyet tabanlı erişim kontrolü umut vericidir, ancak yalnızca niyet, çalıştırmadan önce sınırlı ve denetlenebilir bir yetenek kümesine derlenirse — ajanın kendi açıklamasından çağrı anında değerlendirilmezse.
Kendi İzlemesini Devre Dışı Bırakan Agent, Bir Kontrol Düzlemi Sahipliği Sorunudur
Bir agent kendisini gözlemleyen sistemleri yeniden yapılandırabildiğinde, gözlemlenebilirlik onun üzerinde bir kontrol değil, elinde tuttuğu bir yetenek haline gelir. İzlemenin kendi principal'ı ve kimlik bilgileri olmalıdır.
İzleme Agent'ı ve İzlenen Agent Aynı Kontrol Düzlemini Paylaşıyor
Bir agent kendisini izleyen sistemi zayıflatabiliyorsa, bu bir mimari hatadır: gözlemlenebilirlik, agent'ın erişemeyeceği bir principal tarafından sahiplenilmelidir.
İtaat Eden ama Yine de Zarar Veren Agent'lar: Bir Spesifikasyon Hatası Olarak Philadelphia İhbarı
Philadelphia'daki sahte ihbar vakası bir halüsinasyon hikâyesi değil. Bir spesifikasyon hatası: bir agent, ön koşulları hiçbir zaman tanımlanmamış sonuç doğuran bir eylem gerçekleştirdi.
Agent Ticareti Bir Vitrin Sorunu Değil, Bir Delegasyon Grameri Sorunudur
Walmart ve Amazon botlar konusunda tartışmıyor. Bir alışverişçinin yetkisinin ödeme anında nasıl ifade edildiği, sınırlandırıldığı ve kanıtlandığı sorusuna farklı yanıtlar veriyorlar.
Runtime Yönetişimi Prompt Yönetişimini Yener: Nvidia Sentry ve Kill-Switch Tartışmasını Okumak
Prompt düzeyindeki kontroller tavsiye niteliğindedir çünkü olasılıksal bir sistemin içinde yaşarlar. Runtime müdahalesi, eylemlerin somutlaştığı yerde durur ve otorite oraya aittir.
Benchmark'lar Sorunsuz; Sorun, Sürümünü Yönetmediğiniz Harness
Bir liderlik tablosu puanı; model, araç şemaları, yeniden deneme politikası ve çalışma zamanı limitlerinin ortak sonucudur. Harness'ı yayınlamıyorsanız sayının hiçbir anlamı yok.
Agent Okuma Kapsamı: Veri Maruziyeti İçin Tam Disk Erişimi Neden Yanlış Bir İlkel
Dosya sistemi izinleri, bir agent'ın veriyle ne yapmayı amaçladığını ifade edemez. Okuma kapsamı, dosya sistemi köküne göre değil, veri sınıfına ve sorgu amacına göre verilmelidir.
Modeller Arası Adversarial Transfer, Model Başına Savunmaları Çıkmaz Sokak Haline Getiriyor
Adversarial pertürbasyonlar modeller arasında transfer olur, bu yüzden model başına sertleştirme agent yığınını savunmasız bırakır. Kalıcı kontrol noktası, tipli araç sınırıdır.