Agent sistemleri geliştirmekten notlar
Değerlendirme koşum takımları, orkestrasyon desenleri, bellek tasarımı ve arkalarındaki başarısızlıklar — detaylar hâlâ tazeyken yazıya döküldü.
İtaat Eden ama Yine de Zarar Veren Agent'lar: Bir Spesifikasyon Hatası Olarak Philadelphia İhbarı
Philadelphia'daki sahte ihbar vakası bir halüsinasyon hikâyesi değil. Bir spesifikasyon hatası: bir agent, ön koşulları hiçbir zaman tanımlanmamış sonuç doğuran bir eylem gerçekleştirdi.
Deterministik Olmayanı İzlemek: Concordance ve DeepEval'in Agent Değerlendirmesi Hakkında Ortaya Koydukları
Tutarsız agent kararları genellikle eksik girdi sorunudur. Değerlendirme, çıktıları sonradan puanlamak yerine tam karar bağlamını kaydetmeli ve yeniden oynatmalıdır.
Kill Switch Tek Bir Süreci Varsayar: Agent Filoları için Kapatma Semantiği
Kill switch'ler ve containment vaatleri, her agent için tek bir kontrol edilebilir süreç varsayar. Konuşlandırılmış bir filo; ebeveynler, çocuklar, tool oturumları ve lease'lerden oluşan bir graftır — ve bir anahtara değil, bir sonlandırma protokolüne ihtiyaç duyar.
Agent Ticareti Bir Vitrin Sorunu Değil, Bir Delegasyon Grameri Sorunudur
Walmart ve Amazon botlar konusunda tartışmıyor. Bir alışverişçinin yetkisinin ödeme anında nasıl ifade edildiği, sınırlandırıldığı ve kanıtlandığı sorusuna farklı yanıtlar veriyorlar.
Agent Commerce'te Ayrım Protokolde Değil, Sorumlulukta: Walmart, Amazon ve Mandate Sorusu
Perakendeciler, ihtilaflı bir işlemin maliyetini kimin üstleneceği konusunda anlaşamadıkları için alışveriş agent'larında farklı konumlanıyor. Gerçek entegrasyon yüzeyi protokol değil, mandate kaydı.
Runtime Yönetişimi Prompt Yönetişimini Yener: Nvidia Sentry ve Kill-Switch Tartışmasını Okumak
Prompt düzeyindeki kontroller tavsiye niteliğindedir çünkü olasılıksal bir sistemin içinde yaşarlar. Runtime müdahalesi, eylemlerin somutlaştığı yerde durur ve otorite oraya aittir.
Eval Set'ler Çürür: Sadece Modeli Değil, Harness'ı da Sürümleyin
Testlerini ezberleyen kendi kendini geliştiren agent'lar bir pipeline kusurunu ortaya çıkarır: eval set'ler, kodla aynı yaşam döngüsü yükümlülüklerine sahip veri artefaktlarıdır.
Uyuyan Agent'lar Anahtarlarını Koruyor: Yaşam Döngüsü Aşaması Olarak Kimlik Bilgisi Geri Kazanımı
Çalışmayı bırakan ama kimlik bilgilerini koruyan bir agent, denetlenmeyen bir principal'dır. Filo hijyeni, kimlik bilgisi süresinin dolmasını planlamalı; bunu kullanımdan kaldırmanın sonradan akla gelen bir adımı olarak görmemelidir.
Benchmark'lar Sorunsuz; Sorun, Sürümünü Yönetmediğiniz Harness
Bir liderlik tablosu puanı; model, araç şemaları, yeniden deneme politikası ve çalışma zamanı limitlerinin ortak sonucudur. Harness'ı yayınlamıyorsanız sayının hiçbir anlamı yok.