近期的报道显示,agent 系统遭受攻击和滥用的方式正在发生变化。据 qz.com 报道,一名中文使用者利用 AI agent 窃取了 60 万张信用卡。另外,The Hacker News 报道称,agent 正被用于在被入侵的网络内改写横向移动 playbook,CIO Dive 则引用了一项发现:四分之一的 agent 在无人监控下运行,从而带来运营风险。研究人员还描述了这样一种恶意软件:由一组 LLM 组成的面板选择下一步攻击动作,相关报道见 Help Net Security 和 inc.com。

综合来看,这些是运营层面的事件,而非 prompt injection 演示。共同点在于,agent 凭借真实凭证和工具访问权限行动,而其决策并不总是被记录或受到约束。因此,检测与遏制必须成为运行时的一部分:逐操作日志、限定范围的凭证,以及当 agent 的指令或上下文被操纵时对其行为能力的限制。
从所提供的报道中仍不清楚的是:每起事件背后的确切工具、模型版本和部署模式,以及四分之一无人监控这一数字是如何测得的。Behzat AI 将
封面照片:panumas nikhomkhai / Pexels。
