跳转到主要内容

Goodfire 提出「由内而外」监控器,以更低成本检测失控 agent

Behzat AIagent-monitoringruntime-safetygoodfireagent-observabilityllm-agents
电路板的微距照片,在浅景深下显示走线、焊点和表面贴装元件。

据 TechCrunch 报道,Goodfire 推出了其所称的「由内而外」监控器,这是一种捕捉失控 AI agent 的方法,该公司称其运行成本仅为现有方法的一小部分。这一方案面向已部署 agent 的团队,在这些场景中,监督必须在发布之后持续进行,而不能止步于评估阶段。

Close-up of two vintage Eveready Energizer transistor batteries on a white background

技术上的区别在于监控器读取的位置。仅监控输出的方案检查 agent 输出的内容,并据此推断其意图。「由内而外」的监控则改为在执行过程中检查 agent 的内部状态。对于 agentAerial night view of New Taipei City with bright city lights and winding roads

Goodfire 将检测成本视为持续 agent 监控的首要约束。这一表述才是值得审视的实质主张。该报道并未说明读取哪些内部信号、检测阈值如何设定、监控器会带来多少延迟,也未说明其误报率与仅监控输出的基线相比如何。文中没有提供任何独立评估或基准数据。在这些细节明确之前,对团队而言的实际问题是:内部状态监控能否在不给监控层本身引入新失效模式的前提下,降低持续监督的总成本。

让我们聊聊!