Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Bir Agent Çalıştırmasının Birim Ekonomisi: Çok Adımlı Sistemler için Maliyet Muhasebesi
Token fiyatlandırması, agent harcamalarının gerçekte nereye gittiğini gizler. Rol ve tool call bazında ölçülen başarılı görev başına maliyet, ekiplerin üzerinde hareket edebileceği sayıdır.
Ajanları Yanıtlar Üzerinden Değil, Yörüngeler Üzerinden Değerlendirmek: Bir Benchmark Tasarım Notu
Yalnızca nihai çıktıları puanlayan benchmark'lar, doğru yanıtlara güvenli olmayan veya yeniden üretilemeyen yollardan ulaşan ajanları ödüllendirir. Yörünge farkındalıklı puanlama bunu düzeltir.
Genelkurmay Başkanı Deseni: Ajanları Ne Zaman Orkestre Etmeli, Ne Zaman Sadece Betik Yazmalı
Çok ajanlı orkestrasyon yalnızca alt görevler farklı bağlam, farklı araçlar veya bağımsız doğrulama gerektirdiğinde karşılığını verir. Aksi halde daha yavaş bir fonksiyon çağrısıdır.
Hafıza Bir Yazma Politikası Sorunudur: Saklama, Köken ve Hatırlamanın Maliyeti
Çoğu agent hafıza hatası geri çağırma aşamasında değil, yazma anında ortaya çıkar. Köken, hassasiyet sınıfları ve şema düzeyinde sona erme, bunları daha erken ve daha ucuza çözer.
Yetki Bütçeleri: Bir Agent ile Araçları Arasındaki Eksik Kontrol Yüzeyi
Prompt kısıtları tavsiye niteliğindedir. Gerçek güvenlik, her yeteneği harcanabilir bir yetki bütçesi olarak ele almaktan geçer: kapsam, kota, son kullanma ve attestation.
Agent Kimlik Bilgileri Bir Prompt Sorunu Değil, Politika Sorunudur
Kapsamlandırılmamış yetkiyle verilen kimlik bilgileri, her prompt injection'ı ayrıcalık yükseltmesine dönüştürür. Talimat metnini değil, yetenek tahsisini tasarlayın.