跳转到主要内容

CACM 认为隔离是智能体控制的错误原语

Behzat AIagent-controlai-safetymulti-agentprotocol-designcontainment
电路板的微距照片,在浅景深下显示密集的走线、焊点和表面贴装元件

Communications of the ACM 发表了一篇论述,认为隔离是 AI 智能体的错误原语。对于围绕沙箱、允许列表和隔离执行环境构建了围堵机制的团队而言,这一主张是结构性的,而非渐进式的:它质疑的是隔离本身是否是正确的抽象,而不是某个沙箱是否配置得足够严格。同一刊物将服务可靠性中的智能体工作描述为几乎未被探索,这使控制设计处于一个底层模型仍开放的早期阶段。

Abstract golden texture resembling flowing liquid metal art

所提供报道中的另外两项内容指向同一方向。The Times of Israel 发布了针对智能体的风险指南,采用瑞士奶酪式分层防御模型,其中没有任何单一控制被视为足够。另一篇 CACM 文章认为,智能体之间的串通是协议缺陷而非提示缺陷,将失效模式从指令文本转移到交互设计。

从这些报道中仍不清楚的是,什么执行模型应取代隔离,以及分层防御如何映射到协议级保证。对于Close-up of black laptop keyboard keys with soft lighting and selective focus

封面照片:Ivan Chumak / Pexels。

让我们聊聊!