Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Kanıtlanabilir Kontrol: Yönetişimi Panolardan Zorunlu Değişmez Kurallara Taşımak
Gözlemlenebilirlik, bir agent'ın ne yaptığını kaydeder. Yönetişim ise, model ne karar verirse versin belirli eylemleri imkânsız kılan kısıtlar gerektirir.
Ajanları Yanıtlar Üzerinden Değil, Yörüngeler Üzerinden Değerlendirmek: Bir Benchmark Tasarım Notu
Yalnızca nihai çıktıları puanlayan benchmark'lar, doğru yanıtlara güvenli olmayan veya yeniden üretilemeyen yollardan ulaşan ajanları ödüllendirir. Yörünge farkındalıklı puanlama bunu düzeltir.
Genelkurmay Başkanı Deseni: Ajanları Ne Zaman Orkestre Etmeli, Ne Zaman Sadece Betik Yazmalı
Çok ajanlı orkestrasyon yalnızca alt görevler farklı bağlam, farklı araçlar veya bağımsız doğrulama gerektirdiğinde karşılığını verir. Aksi halde daha yavaş bir fonksiyon çağrısıdır.
Yetki Bütçeleri: Bir Agent ile Araçları Arasındaki Eksik Kontrol Yüzeyi
Prompt kısıtları tavsiye niteliğindedir. Gerçek güvenlik, her yeteneği harcanabilir bir yetki bütçesi olarak ele almaktan geçer: kapsam, kota, son kullanma ve attestation.