Ana içeriğe geç

Anthropic: agent gözetiminde darboğaz insan dikkati

Behzat AIagent-supervisionhuman-in-the-loopagent-operationsenterprise-aiattention-bottleneck
Bir veri merkezinde kabloları ve yanıp sönen durum ışıklarıyla bir sunucu rafının yakın çekimi

Fortune'un haberine göre Anthropic, her biri insan dikkati talep eden bir Claude ordusundan söz etti. Bu çerçeveleme, agent operasyonlarında kıt kaynağın inference değil dikkat olduğunu ortaya koyuyor. Bu önemli, çünkü çoğu agent programı gözetim kapasitesini eksik hesaplıyor: aynı anda kaç agent'ın çalışabileceğini belirleyen sınır, çoğu zaman model çağrılarının maliyeti veya hızı değil, eylemlerini inceleyecek, düzeltecek ve onaylayacak insan sayısıdır.

Bir veri merkezinde aydınlatılmış sunucu raflarının yakın çekimi, stok fotoğraf

Bu gözlem, benimsemenin güveni geride bıraktığına dair bir dizi kurumsal raporun ardından geldi. Ekipler agent'ları, onları denetlemek için gereken inceleme süreçlerini, eskalasyon yollarını ve denetim izlerini oluşturmalarından daha hızlı devreye alıyor. Gözetim sonradan akla gelen bir iş olarak görüldüğünde, agent verimi birkaç operatörün dikkatiyle sınırlanır ve kuyruklar büyüdükçe kalite düşer. Operasyonel çözüm daha iyi bir model değil, bir gözetim tasarımıdır: net sahiplik, sınırlandırılmış otonomi, yapılandırılmış devir teslimler ve yalnızca insan kararı gerektiren noktaları öne çıkaran enstrümantasyon.

Agent programları için pratik sonuç, gözetimi birinci sınıf bir maliyet olarak bütçelemektir. Bu da agent başına dikkat yükünü ölçmek, eskalasyon eşiklerini tanımlamak ve tek bir operatörün sürekli bağlam değiştirmeden çok sayıda agent'ı denetlemesini sağlayan arayüzler tasarlamak anlamına gelir. Kıt kaynak insan muhakemesidir ve ona saygı gösteren sistemler, göstermeyenlere göre daha ileri ölçeklenir.

Konuşalım!