博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

作为发现工具的 Agent 集群：Patch the Planet 背后的评估问题

Agent 集群把评估问题从单个 agent 的精确率，转变为在给定误报预算下每计算小时的产出。大多数 agent 基准并不衡量这一点。

agent 决策不一致，通常是一个输入缺失问题。评估应当记录并重放完整的决策上下文，而不是事后对输出打分。

自我改进的智能体会记住自己的测试，这暴露了一个流水线缺陷：评估集是数据产物，承担着与代码相同的生命周期义务。

排行榜上的分数是模型、工具 schema、重试策略和运行时限制共同作用的结果。不公开 harness，这个数字就毫无意义。

广泛的部署与狭窄的实际使用形成对比，说明 agent 被挂接到了从未为其划定范围的工作流上。解决办法是在选择模型之前先做工作流分解。

Agent 评估套件应当从捕获的生产轨迹和事故回放中生长出来，而非从想象的任务中编写，因为真正重要的失败是被发现的，而不是被设计的。

多 Agent 系统的失败，更多源于协调机制而非模型能力。本文审视共享状态、交接协议，以及并行化的取舍。

将 agent 的输出视为需要审问的主张，而非可以直接接受的结果，是一套团队可以制度化的可重复评估实践。

被归咎于模型能力不足的 agent 评估失败，往往是评估集卫生问题。评估语料需要与训练数据同等的来源追溯、版本控制和访问控制。