Anthropic, AI agent'ların uzmanların verdiği muhakeme kararlarını nasıl şekillendirdiğine dair bir araştırma yayımladı; bu haber, günün AI haber döngüsünde kurumsal benimseme haberleriyle birlikte yer aldı. Bu çerçeveleme, agent sistemleri kuran ekipler için önemli: bir agent, bir alan uzmanı ile bir karar arasına girdiğinde, sonuç altta yatan modelden çok etrafındaki harness'a bağlı hale gelir — hangi bağlamın sunulduğu, neyin saklandığı, önerilerin nasıl sunulduğu ve itirazın ne kadar kolay ifade edilebildiği.
Bu da muhakemeyi bir satın alma değil, tasarım ve değerlendirme problemi haline getiriyor. Uzmanın görüş alanını sessizce daraltan bir harness, arkasındaki akıl yürütmeyi aşındırırken kendinden emin bir mutabakat üretebilir ve standart görev doğruluğu benchmark'ları bunu göstermez. Ekiplerin, uzmanların hâlâ hataları yakalayıp yakalamadığını, agent yanlış olduğunda hâlâ onu geçersiz kılıp kılmadığını ve sürekli kullanım sonrasında hâlâ akıl yürütmelerini açıklayıp açıklamadığını test eden değerlendirmelere ihtiyacı var. Bunlar olmadan atrofi, pahalı hale gelene kadar görünmez kalır.
Ayrıca Anthropic, WSJ'ye kurumsal AI benimsemesinin hâlâ erken aşamalarda olduğunu söyledi ve bağımsız bir AI gözlemcisine sistemlerine çalışan düzeyinde erişim verdi. Her ikisi de alanın hâlâ gözetimi kalibre ettiğine işaret ediyor. Çalışmanın metodolojisi, örneklemi ve ölçülen etkileri sağlanan haberde ortaya konmuyor; bu nedenle pratik çıkarım yapısal kalıyor: agent harness'ını değerlendirilen nesne olarak ele alın ve korunmuş uzman muhakemesi için baştan tasarlayın.