博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

LLM 评审模型是一种带版本的依赖：在不损失可比性的前提下削减评估流水线成本

更便宜的 LLM 评审模型只有在像其他依赖一样被版本化、固定并做回归测试时才是可靠的；否则省下的成本要以跨运行可比性的丧失为代价。

只有当评判模型、提示词、评分标准和解码参数被固定并作为一等工件进行回归测试时，LLM-as-judge 才值得信赖。

Agent 评估套件应当从捕获的生产轨迹和事故回放中生长出来，而非从想象的任务中编写，因为真正重要的失败是被发现的，而不是被设计的。

只有在固定的评估集下，以任务级结果而非单纯的每 token 成本来评判路由器时，模型间的路由才能带来回报。

一次覆盖 27 个模型的基准测试运行暴露出错误源头是评估框架本身，而非模型。评估代码就是生产软件：对它做版本管理、金丝雀发布，并用已知答案测试它。

一套关于 agent 故障模式的共享词汇，让事故复盘从轶事转变为跨模型、工具、编排和数据层可计数、可回归测试的信号。