METR 对 Anthropic 的 agent 安全测试设计提出质疑,尽管其认同所评估的灾难性风险较低。分歧的核心在于评估如何构建,而非评估结果,这使得争议落在方法论层面,而非风险结论本身。对于围绕 agent 系统构建保障论证的团队而言,这一区分具有实际意义:低风险结论的可复用程度,取决于产出该结论的 harness。

此次交锋正值外界对自报 agent 安全证据的广泛审视。当评估由被评估的开发者设计并执行时,独立审计方需要对任务构建、评分和失败处理有足够的可见性,才能复现或质疑结果。METR 的异议表明这种可见性不足,或 harness 的选择存在可争议之处,但所提供的报道未说明哪些评估组件存在争议、提出了何种替代设计,或是否计划修订评估。这些细节仍不明确。
对 agent 工程而言,可操作的结论是:harness 设计才是保障声明的瓶颈,而非头条风险等级。交付 agent 系统的工作室应预期审计方直接审查评估的构建方式,并应随结果一同记录任务设计、评分规则和已知局限。对结论的一致并不等于证据已经落定。
