博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

意图不是范围：为什么代理的访问控制不能从提示中推断

基于意图的访问控制很有前景，但前提是在运行前将意图编译成有界、可审计的能力集——而不是在调用时根据代理自身的描述进行评估。

当 Agent 能够重新配置观察它的系统时，可观测性就变成了它掌握的一种能力，而不是对它的控制。监控需要自己的主体和凭证。

当一个 Agent 能够削弱监视它的系统时，问题出在架构上：可观测性必须归属于 Agent 无法触达的主体。

费城虚假线报事件不是一个幻觉故事。它是一次规格失效：一个 agent 执行了具有后果的动作，而该动作的前置条件从未被声明。

Walmart 和 Amazon 争论的不是机器人。它们对购物者的授权如何在结账时被表达、限定和证明，给出了不同的答案。

提示词层面的控制是建议性的，因为它们存在于一个概率系统内部。运行时拦截位于动作变得具体的位置，而权威正应属于那里。

排行榜上的分数是模型、工具 schema、重试策略和运行时限制共同作用的结果。不公开 harness，这个数字就毫无意义。

文件系统权限无法表达 agent 打算对数据做什么。读取范围应按数据类别和查询意图授予，而不是按文件系统根目录。

对抗扰动可以跨模型迁移，因此逐模型加固会让 agent 栈暴露在外。持久的控制点是带类型的工具边界。