博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

运行时治理胜过提示词治理：解读 Nvidia Sentry 与 kill-switch 之争

提示词层面的控制是建议性的，因为它们存在于一个概率系统内部。运行时拦截位于动作变得具体的位置，而权威正应属于那里。

主机级隔离能够强制执行资源与文件系统边界，但无法判断某个 agent 操作是否获得授权。应将执行层与授权层分离。

像 Strands Decider 和 Clef 这样的廉价决策模型是路由原语，而不是控制面。把快速分类器当作执行点，只是转移了故障模式，而不是消除它。

安全栈记录的是 agent 做了什么，而非它意图做什么。将声明的意图变成经过签名、可查询的产物，才能弥合这一缺口。

隔离的重点不在于隔离技术本身，而在于枚举、限定并撤销 agent 在一次运行中每一步所持有的能力。

允许列表展示的是 agent 可以做什么，而不是某一步是否正当。意图日志在运行时捕获每一步的决策上下文。

智能体系统中的隔离失效，是能力授予定价错误，而非越狱缺失。控制面是针对可触达系统的单次运行预算。

对智能体进行身份验证并限定其令牌范围，并不能约束它在一连串工具调用中的行为。按轨迹评估的意图级策略，才是弥合组合缺口的控制手段。

可观测性记录 agent 做了什么。治理则需要约束，使某些操作无论模型如何决定都无法发生。