博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

作为发现工具的 Agent 集群：Patch the Planet 背后的评估问题

Agent 集群把评估问题从单个 agent 的精确率，转变为在给定误报预算下每计算小时的产出。大多数 agent 基准并不衡量这一点。

只对最终输出打分的基准，会奖励那些通过不安全或不可复现路径得到正确答案的 agent。轨迹感知的评分可以修正这一点。