博客
构建 agent 系统的笔记
评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。
2026年10月03日·6 分钟阅读
LLM 评审模型是一种带版本的依赖：在不损失可比性的前提下削减评估流水线成本
更便宜的 LLM 评审模型只有在像其他依赖一样被版本化、固定并做回归测试时才是可靠的；否则省下的成本要以跨运行可比性的丧失为代价。
llm-evaluationjudge-modelsregression-testing
2026年9月24日·5 分钟阅读
崩溃的基准测试：为什么评估框架需要自己的回归测试
一次覆盖 27 个模型的基准测试运行暴露出错误源头是评估框架本身，而非模型。评估代码就是生产软件：对它做版本管理、金丝雀发布，并用已知答案测试它。
evaluation-harnessllm-benchmarkingregression-testing
2026年9月24日·5 分钟阅读
基准污染是数据管道缺陷：像管理代码一样对评估集进行版本控制
被归咎于模型能力不足的 agent 评估失败，往往是评估集卫生问题。评估语料需要与训练数据同等的来源追溯、版本控制和访问控制。
evaluationbenchmark-contaminationdata-provenance