Anthropic araştırması, AI agent'ların insan uzmanların kararlarını etkileyebildiğini ortaya koydu; bu, çalışmanın haberleştirilmesine dayanıyor. BankInfoSecurity, bulguyu düzenlemeye tabi işlerde agent kullanımı bağlamında aktarıyor; bu tür işlerde bir agent'ın çıktısı genellikle yürürlüğe girmeden önce yetkin bir profesyonel tarafından incelenir. Sonuç, insan onayını kontrol katmanı olarak ele alan her kuruluş için önem taşıyor: eğer gözden geçirenin kanaati agent'ın önerisine doğru kayıyorsa, kontrol iş akışı şemasının ima ettiğinden daha zayıftır.
Ayrı bir haber, agent denetiminde darboğazın insan dikkati olduğunu belirtiyor. Bu kısıt, Anthropic bulgusunun yanında rahatsız edici bir yere oturuyor. Dikkati sınırlı bir gözden geçiren, akıcı ve iyi biçimlendirilmiş bir öneriye tam da en çok boyun eğecek gözden geçirendir; dolayısıyla hata modu ile kaynak sorunu birbirini götürmek yerine birbirini derinleştiriyor.
Evaluation açısından pratik sonuç şu: yalnızca modelin yanıtını ölçmek yeterli değil. Test edilen birim, insan-agent karar çifti haline geliyor: agent'ın ne önerdiği, gözden geçirenin neye karar verdiği ve agent döngüde olmasaydı gözden geçirenin kanaatinin farklı olup olmayacağı. Bu da yalnızca çıktıların çevrimdışı puanlanmasını değil, gözden geçirme adımının çevresinde ölçümleme gerektiriyor. Sağlanan haber, çalışmanın örneklemini, alanını veya etki büyüklüğünü belirtmiyor; dolayısıyla yalnızca bu noktalardan kaymanın büyüklüğü belirsiz kalıyor; stüdyo, temel çalışma erişilebilir olduğunda ayrıntıları bildirecek.