博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

听话却仍造成伤害的 Agent：费城线报事件作为规格失效

费城虚假线报事件不是一个幻觉故事。它是一次规格失效：一个 agent 执行了具有后果的动作，而该动作的前置条件从未被声明。

提示词层面的控制是建议性的，因为它们存在于一个概率系统内部。运行时拦截位于动作变得具体的位置，而权威正应属于那里。

运行时遏制可以叫停行为异常的 agent，但如果没有预先声明的允许操作契约，这只是损害控制，而非预防。

沙箱能阻止逃逸，却无法界定 agent 被授权尝试什么。Agent 安全需要在运行时之上设置一层权限层，而不是更快的终止开关。

大多数 Agent 越界行为始于工具接口，而非模型本身。收窄 Agent 可调用的接口面，比给它套上护栏更具杠杆效应。

Agent 越权通常是模型上游缺少授权决策。安全应属于请求路径，而不仅仅属于对齐训练。

智能体系统中的隔离失效，是能力授予定价错误，而非越狱缺失。控制面是针对可触达系统的单次运行预算。

Agent 的围堵是一份权限与验证契约，而不是一条 guardrail prompt。每个工具边界都需要一个 agent 在运行时无法协商的前置条件。

自主编码 Agent 的爆炸半径由其沙箱和网络出口规则决定。在定义 Agent 之前，先定义这份契约。