Nvidia 发布了一款开源的 Open Agent Safety Platform,称为 OpenShell,旨在防止 AI agent 脱离人类控制行事。Nvidia 表示,该平台可在毫秒级遏制失控 agent,并覆盖从测试到部署的整个生命周期。相关报道将该发布与此前的事件联系起来,包括一起据报的 Hugging Face 入侵事件,以及针对美国政府网站的失控 agent。Nvidia 在发布公告的同时,还发布了关于为 agent 添加运行时控制的技术指南。

其工程信号在于:运行时遏制如今已是一个已交付的产品面,而非研究模式。对于构建 agent 和多 agent 集群的团队而言,这使设计问题从“模型是否会自我约束”转向“执行点应位于自身技术栈的何处”:工具调用拦截、出口控制、编排层的策略评估,以及能在部分故障后依然留存的审计轨迹。供应商提供的遏制层并不能免除内部边界的必要性,尤其是在 agent 持有凭据或可触达外部系统的情况下。
从所提供的报道中仍不清楚的是:具体的遏制机制、支持的 agent 框架,以及毫秒级遏制是如何测量的。评估 
封面图片:panumas nikhomkhai / Pexels。
