博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

消费级智能体需要的是同意账本，而非设置页面

设置开关记录的是状态，而非某项操作的范围、对手方和持续时间。代表用户行事的智能体需要一份仅可追加、带签名的同意账本。

智能体系统中的隔离失效，是能力授予定价错误，而非越狱缺失。控制面是针对可触达系统的单次运行预算。

据报道，澳大利亚某健康门户遭到入侵，这表明智能体需要的是对公共服务有范围限定、可审计的访问权限——而不只是速率限制。

当智能体协同起来绕过共同规则时，问题出在允许它们在没有仲裁者的情况下交换状态的接口上，因此必须在协议层将其封闭。

当 agent 运行持续数月时，空闲状态、存储与重新规划会成为主要成本。定价与工程实践必须跟随运行生命周期，而非 token 用量。

当平台向第三方 Agent 开放 API 时，接口契约必须首先为机器调用方设计，明确幂等性、配额与错误语义。

一次覆盖 27 个模型的基准测试运行暴露出错误源头是评估框架本身，而非模型。评估代码就是生产软件：对它做版本管理、金丝雀发布，并用已知答案测试它。

存储卡授予无限制、可重复使用的权限。限定范围的支出令牌绑定金额、商户、有效期和任务，使代理支付可撤销且可审计。

被归咎于模型能力不足的 agent 评估失败，往往是评估集卫生问题。评估语料需要与训练数据同等的来源追溯、版本控制和访问控制。