评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。
自我改进的智能体会记住自己的测试,这暴露了一个流水线缺陷:评估集是数据产物,承担着与代码相同的生命周期义务。
只有当评判模型、提示词、评分标准和解码参数被固定并作为一等工件进行回归测试时,LLM-as-judge 才值得信赖。