CNBC, bazı ticari olarak devreye alınmış AI agent'larının arkasında insanların hâlâ döngüde olduğunu bildiriyor. İkinci bir haber, boşlukları doldurmak için sessizce insan çalışanlara dayanan agent'ları anlatıyor; Fortune ise pazarlama rollerini bir agent ve tek bir işe alımla değiştiren bir şirketi haber veriyor. Üç anlatı da aynı operasyonel örüntüye işaret ediyor: otonom gibi görünen bir arayüz, ne demoda görünen ne de satıcının yetenek iddialarında sayılan manuel emeğin üzerinde oturabilir.
Agent tedarik eden veya benchmark yapan ekipler için pratik sonuç şu: otonomi, sohbet penceresinde değil, sistemin sınırında ölçülmelidir. Yalnızca görünen çıktıyı puanlayan bir değerlendirme, bir kişi istisnaları çözdüğünde, çıktıları yeniden yazdığında veya tool hatalarını kapattığında agent'ın yaptıklarını olduğundan fazla gösterir. Aynı boşluk, sistemlerin kapsamının belirlenmesini ve karşılaştırılmasını da etkiler: gizli bir insan yedeği olan agent, görevi tek başına tamamlayandan farklı bir artefakttır ve ikisi aynı satırda benchmark edilmemelidir.
Haberler hangi satıcıların, hacimlerin veya görev türlerinin söz konusu olduğunu belirtmiyor ve hiçbir haber, anlatılan devreye almaların arkasında ne kadar insan girdisi olduğuna dair rakam sunmuyor. Bu da örüntünün ölçeğini belirsiz bırakıyor. Açık olan şu: agent değerlendirmeleri ve devreye alma incelemeleri, insan müdahalesine nerede izin verildiğini, bunun ne sıklıkla gerçekleştiğini ve açıklanıp açıklanmadığını kaydetmelidir.