Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Bir LLM Yargıcı Sürümlenmiş Bir Bağımlılıktır: Karşılaştırılabilirliği Kaybetmeden Maliyet Düşüren Değerlendirme Hatları
Daha ucuz bir LLM yargıcı, ancak diğer bağımlılıklar gibi sürümlenmiş, sabitlenmiş ve regresyon testinden geçirilmişse sağlamdır; aksi takdirde tasarrufun bedeli, çalıştırmalar arası karşılaştırılabilirliğin kaybıyla ödenir.
Kanıt Modelleri ve Karar Modelleri Farklı Yapıtlardır
Karar vermek ve yargılamak ayrı tasarım rolleridir. Tek bir model ikisini birden yaptığında, değerlendirmeler aktörün kör noktalarını devralır ve güvenilirliğini yitirir.
Ayrıştırmayı Enstrümante Etmek: Ajan Yörünge Maliyeti Neden Bir Planlayıcı Metriğidir
Çalıştırma maliyeti bir token toplamı olarak raporlanır, ancak baskın değişken planlayıcının görevi nasıl ayrıştırdığıdır. Plan-düğümü muhasebesi bütçelemeyi bir çizelgeleme girdisine dönüştürür.
Araç Yüzeyleri Bir Sarmalayıcı Sorunu Değil, Bir Arayüz Tasarımı Sorunudur
Agent araç yanlış kullanımı genellikle arayüzde başlar: JSON ile sarmalanmış insan API'leri kısmi başarısızlığı gizler ve terminal hata semantiğinden yoksundur. Makineye bakan yüzeyler tasarlamak bunu düzeltir.
Model Yönlendirme, Bir Optimizasyon Problemi Olmadan Önce Bir Değerlendirme Problemidir
Modeller arasında yönlendirme ancak yönlendirici, yalnızca token başına maliyetle değil, sabit bir değerlendirme seti altında görev düzeyindeki sonuçlara göre yargılandığında karşılığını verir.
İnsan Concierge Bir Gecikme Bütçesidir, Güvenlik Katmanı Değil
İnsan concierge'e yükseltme bir kapasite ve gecikme kararıdır. Bunu bir kuyruk problemi olarak modelleyin, sonradan eklenen bir güven özelliği olarak değil.
Ajanlar Arası Manipülasyon Bir Protokol Sorunudur
Bir ajan, doğrulanmamış bir iddiayla başka bir ajanın planını değiştirebiliyorsa, kusur modelde değil protokoldedir. Köken etiketleri, bağımsız doğrulama ve yeniden iddia sınırları bunu kontrol altına alır.
Açık Ağırlıklı Ekonomi: Çıkarım Sahibi Olduğunuz Bir Kalem Olduğunda Ne Değişir
Düşen token başına maliyetler, agent darboğazını model seçiminden orkestrasyon kalitesine ve donanım kullanımına kaydırıyor.