Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
İtaat Eden ama Yine de Zarar Veren Agent'lar: Bir Spesifikasyon Hatası Olarak Philadelphia İhbarı
Philadelphia'daki sahte ihbar vakası bir halüsinasyon hikâyesi değil. Bir spesifikasyon hatası: bir agent, ön koşulları hiçbir zaman tanımlanmamış sonuç doğuran bir eylem gerçekleştirdi.
Benchmark'lar Sorunsuz; Sorun, Sürümünü Yönetmediğiniz Harness
Bir liderlik tablosu puanı; model, araç şemaları, yeniden deneme politikası ve çalışma zamanı limitlerinin ortak sonucudur. Harness'ı yayınlamıyorsanız sayının hiçbir anlamı yok.
Geri Al Düğmesi Bir Durum Problemidir: Tasarım Kısıtı Olarak Tersinirlik
Tersinirlik bir arayüz kolaylığı değildir. Her aracın durumu nasıl yazdığının bir özelliğidir ve özerklik verilmeden önce araç başına tasarlanmalıdır.
Ret, Bir Model Özelliği Değil, Bir Yönlendirme Kararıdır
Agent'ın yetkisini aşması genellikle modelin yukarısında eksik bir yetkilendirme kararıdır. Güvenlik yalnızca alignment eğitiminde değil, istek yolunda yer alır.
Kendi Sonraki Hamlesini Seçen Kötü Amaçlı Yazılım İmza Savunmasını Kırıyor
Sızma araçları bir sonraki eylemlerini seçmek için bir model paneli kullandığında, tespit artefaktlardan davranışa kaymalıdır — ve agent platformları sonuçları devralır.
Yetki Bütçeleri: Bir Agent ile Araçları Arasındaki Eksik Kontrol Yüzeyi
Prompt kısıtları tavsiye niteliğindedir. Gerçek güvenlik, her yeteneği harcanabilir bir yetki bütçesi olarak ele almaktan geçer: kapsam, kota, son kullanma ve attestation.