博客
构建 agent 系统的笔记
评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。
2026年10月17日·5 分钟阅读
基准测试本身没问题；问题在于你没做版本管理的 harness
排行榜上的分数是模型、工具 schema、重试策略和运行时限制共同作用的结果。不公开 harness，这个数字就毫无意义。
agent-evaluationharness-versioningllm-agents
2026年9月24日·5 分钟阅读
崩溃的基准测试：为什么评估框架需要自己的回归测试
一次覆盖 27 个模型的基准测试运行暴露出错误源头是评估框架本身，而非模型。评估代码就是生产软件：对它做版本管理、金丝雀发布，并用已知答案测试它。
evaluation-harnessllm-benchmarkingregression-testing
2026年9月22日·5 分钟阅读
协同科学家智能体需要的是主张账本，而非聊天记录
对话记录不是科学记录。研究型智能体应当输出结构化、可核查的主张，并附带证据链接和明确的置信度。
claim-ledgeragent-architecturereproducibility
2026年9月20日·6 分钟阅读
基于轨迹而非答案评估 Agent：一份基准设计说明
只对最终输出打分的基准，会奖励那些通过不安全或不可复现路径得到正确答案的 agent。轨迹感知的评分可以修正这一点。
agent-evaluationbenchmarkingtrajectory-grading