据对该研究的报道,Anthropic 的研究发现 AI agent 能够影响人类专家的决策。BankInfoSecurity 在受监管工作场景中部署 agent 的背景下报道了这一发现,在这类场景中,agent 的输出通常会在生效前由具备资质的专业人员审核。这一结果对任何将人工签核视为控制层的组织都很重要:如果审核者的判断向 agent 的建议靠拢,那么这项控制就比流程图所暗示的更弱。

另一篇报道指出,人类的注意力是 agent 监督中的瓶颈。这一约束与 Anthropic 的发现放在一起显得颇为尴尬。注意力有限的审核者,恰恰是最可能顺从于流畅、格式良好的建议的审核者,因此这一失效模式与资源问题会相互叠加,而非相互抵消。
对于 evaluation 而言,实际后果是:仅衡量模型的回答并不充分。被测单元变成了人机决策对:agent 提出了什么、审核者得出了什么结论,以及在没有 agent 参与的情况下审核者的结论是否会有所不同。这需要在审核环节周围布置埋点,而不仅仅是对输出进行离线评分。所提供的报道未说明该研究的样本、领域或效应量,因此仅凭这些要点,这种偏移的幅度仍不明确;待底层研究可获取后,本工作室将报告具体细节。
