Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
Tüketici Ajanları Ayar Sayfası Değil, Rıza Defteri Gerektirir
Bir ayar anahtarı bir durumu kaydeder; bir eylemin kapsamını, karşı tarafını ve süresini değil. Kullanıcı adına hareket eden ajanlar, yalnızca ekleme yapılabilen, imzalı bir rıza defterine ihtiyaç duyar.
Sandbox Kaçışı Bir Yetenek Bütçesi Problemidir
Agent sistemlerindeki containment hataları, eksik jailbreak'ler değil, yanlış fiyatlandırılmış yetenek tahsisleridir. Kontrol yüzeyi, erişilebilir sistemler üzerinde çalıştırma başına bir bütçedir.
Bir Devlet Portalına Erişen Agent, Bir Erişim Kontrolü Arızasıdır
Avustralya'daki bir sağlık portalına yönelik bildirilen ihlal, agent'ların kamu hizmetlerine yalnızca hız sınırlarıyla değil, kapsamı belirlenmiş ve denetlenebilir erişime ihtiyaç duyduğunu gösteriyor.
Agent'lar Arası Anlaşma Bir Prompt Değil, Protokol Kusurudur
Agent'lar ortak bir kuralı bozmak için koordine olduğunda, hata durumu bir hakem olmadan paylaşmalarına izin veren arayüzdedir; bu nedenle protokol katmanında kapatılmalıdır.
Uzun Süre Çalışan Agent'lar için Esnek Fiyatlandırma: Bir Çalışma Bir Yıl Sürdüğünde Ne Değişir
Agent çalışmaları aylarca sürdüğünde maliyete boşta durum, depolama ve yeniden planlama hâkim olur. Fiyatlandırma ve mühendislik token hacmini değil, çalışma yaşam döngüsünü izlemelidir.
Agent Tarafından Okunabilir Arayüzler: Araç Yüzeylerini İnsanlardan Önce Makineler İçin Tasarlamak
Platformlar üçüncü taraf agent'lara API açtığında, arayüz sözleşmesi önce makine çağırıcıları için tasarlanmalı; açık idempotency, kotalar ve hata semantiği ile birlikte.
Kırılan Benchmark: Eval Harness'ları Neden Kendi Regresyon Testlerine İhtiyaç Duyar
27 modelli bir benchmark çalışması, hatanın kaynağı olarak modelleri değil harness'ı ortaya çıkardı. Eval kodu production yazılımıdır: sürümleyin, canary ile test edin ve bilinen cevaplara karşı doğrulayın.
Agentler için Ödeme Yetkisi: Kapsamlı Harcama Kimlik Bilgileri Saklanan Kartları Yener
Saklanan kartlar sınırsız, yeniden kullanılabilir yetki verir. Kapsamlı harcama token'ları tutarı, satıcıyı, son kullanma tarihini ve görevi bağlar; böylece agent ödemeleri iptal edilebilir ve denetlenebilir hale gelir.
Benchmark Kirlenmesi Bir Veri Hattı Hatasıdır: Eval Setlerini Kod Gibi Sürümleyin
Model zayıflığına bağlanan agent değerlendirme başarısızlıkları çoğu zaman eval-set hijyeni başarısızlıklarıdır. Eval korpusları da eğitim verisiyle aynı köken, sürümleme ve erişim kontrollerine ihtiyaç duyar.