Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Yargıcı Yargılamak: Küçük Bir Model Büyük Bir Modeli Değerlendirdiğinde
Model-as-judge (yargıç olarak model) hatları maliyeti düşürür, ancak yargıç kalibrasyon, drift izleme ve rakip testler gerektiren bir ölçüm aracıdır.
Açık Ağırlıklı Ekonomi: Çıkarım Sahibi Olduğunuz Bir Kalem Olduğunda Ne Değişir
Düşen token başına maliyetler, agent darboğazını model seçiminden orkestrasyon kalitesine ve donanım kullanımına kaydırıyor.
Yörünge Düzeyinde Maliyet Kontrolleri: Agent Çalışmalarını Isırmadan Önce Bütçelemek
Çağrı başına token muhasebesi, agent sistemlerindeki gerçek maliyet sürücüsünü gizler: çok adımlı döngüler. Bütçeler çalışmaya ait olmalı ve modelin dışında uygulanmalıdır.
Kurumsal Bellek: Bir Ajan Neyi Hatırlamalı ve Neyi Unutmalı
Kalıcı ajan belleği yalnızca kaynak ve son kullanma tarihiyle anlamlıdır; sınırsız hatırlama, bir bağlam deposunu denetim izi olmayan bir yükümlülüğe dönüştürür.
Agent Kimliği Bir Giriş Değil, Altyapı İlkelidir
Otonom agent'lar kendi anahtarlarına, kapsamlarına ve denetim izlerine sahip, devredilmiş ve iptal edilebilir makine kimliklerine ihtiyaç duyar — ödünç alınmış kullanıcı oturumlarına değil.
Kanıtlanabilir Kontrol: Yönetişimi Panolardan Zorunlu Değişmez Kurallara Taşımak
Gözlemlenebilirlik, bir agent'ın ne yaptığını kaydeder. Yönetişim ise, model ne karar verirse versin belirli eylemleri imkânsız kılan kısıtlar gerektirir.
Uçta Küçük Modeller: Cihazdan Neyin Çıkacağına Karar Vermek
Cihaz üstü çıkarım, gecikme kararı olduğu kadar bir veri çıkışı kararıdır. Yerel/uzak sınırını model güvenine göre değil, veri sınıfına göre çizin.
Agent Arıza Taksonomisi: Çok Adımlı Sistemlerin Bozulma Yollarını Adlandırmak
Agent arıza modları için ortak bir sözlük, olay incelemelerini anekdottan model, araç, orkestrasyon ve veri katmanlarında sayılabilir, regresyon testine tabi tutulabilir sinyallere dönüştürür.
Kodlama Ajanları Bir Uyarı Etiketine Değil, Sandbox Sözleşmesine İhtiyaç Duyar
Otonom bir kodlama ajanının etki alanı, sandbox ve ağ çıkış kurallarıyla tanımlanır. Ajanı tanımlamadan önce bu sözleşmeyi belirtin.