跳转到主要内容

METR 质疑 Anthropic 的 agent 安全测试设计,但认同风险较低

Behzat AIagent-safetyevaluation-designai-assurancemetranthropic
电路板的微距特写照片,展示走线、焊点和表面贴装元件。

METR 对 Anthropic 的 agent 安全测试设计提出质疑,尽管其认同所评估的灾难性风险较低。分歧的核心在于评估如何构建,而非评估结果,这使得争议落在方法论层面,而非风险结论本身。对于围绕 agent 系统构建保障论证的团队而言,这一区分具有实际意义:低风险结论的可复用程度,取决于产出该结论的 harness。

电子电路板特写,展示芯片与精细纹路

此次交锋正值外界对自报 agent 安全证据的广泛审视。当评估由被评估的开发者设计并执行时,独立审计方需要对任务构建、评分和失败处理有足够的可见性,才能复现或质疑结果。METR 的异议表明这种可见性不足,或 harness 的选择存在可争议之处,但所提供的报道未说明哪些评估组件存在争议、提出了何种替代设计,或是否计划修订评估。这些细节仍不明确。

对 agent 工程而言,可操作的结论是:harness 设计才是保障声明的瓶颈,而非头条风险等级。交付 agent 系统的工作室应预期审计方直接审查评估的构建方式,并应随结果一同记录任务设计、评分规则和已知局限。对结论的一致并不等于证据已经落定。

让我们聊聊!