静默的失效模式
当供应商发布评判模型的新检查点时，它产生的分数就会改变。被测系统没有变化，但指标变了。在大多数评估设置中，这种变动被归因于 agent，而不是评分器。这就是 LLM-as-judge 的静默失效模式：测量仪器发生漂移，而仪表盘却将其报告为被测对象的变化。
问题会进一步加剧，因为评分标准的漂移是不可见的。评判提示词会随时间累积编辑：这里加一句澄清，那里加一个新边界情况。没有 diff，没有负责人，也没有测试。数字变了，但原因不明。等到有人问起某个指标为何偏移时，评判者已经悄无声息地对整个历史重新打了分。
评判者规格包含什么
评判者不是一个模型。它是一个元组：模型标识符和检查点哈希、解码温度和 top-p、系统提示词、评分标准文本、few-shot 示例，以及输出 schema。每个元素都会影响判定结果。改变其中任何一个，分数就会改变。
将这个元组视为一条 lockfile 条目。没有可解析规格的评判运行不是测量，而是意见。规格应与评估集版本和被测 agent 提交一起存储。这使每个分数都可复现，每次比较都有意义。
在实践中，评判者规格可能如下所示：
judge_spec:
model: "vendor/model-name"
checkpoint: "sha256:abc123..."
temperature: 0.0
top_p: 1.0
system_prompt: |
You are a strict evaluator. Score the response on a scale of 1-5 for correctness.
rubric: |
Correctness: 5 = fully correct, 3 = partially correct, 1 = incorrect.
exemplars:
- input: "What is 2+2?"
output: "4"
score: 5
- input: "What is 2+2?"
output: "5"
score: 1
output_schema:
type: object
properties:
score: { type: integer, minimum: 1, maximum: 5 }
reasoning: { type: string }
代价是开销。固定并版本化每个评判者会给实验增加摩擦。但替代方案是一个你无法信任的指标，这比没有指标更糟。
对照人工标注进行校准
评判者是人工判断的代理。要了解这个代理有多好，你需要一个固定的人工标注锚点集。这是一小组人类已就正确判定达成一致的示例。在信任任何下游比较之前，先报告评判者在该锚点集上的一致性。
一致性应按评分标准维度分别跟踪，而不是作为单一的总体准确率。评判者在正确性上可能与人类有 90% 的一致率，但在语气上只有 60%。聚合会掩盖这一点。按维度跟踪能揭示评判者在哪些方面薄弱，以及哪里需要人工审查。
标记一致性低的维度，并将其路由到人工审查，而不是自动化门禁。这是一种主动学习形式：评判者告诉你它在哪些地方不确定，你就把人力投入到那里。代价是人工审查既慢又贵，因此你无法在所有地方都这样做。锚点集必须小而稳定，路由规则必须明确。
评分器的回归测试
评判者是代码。它应该有测试。最基本的是带有预期判定的已知良好和已知不良轨迹。如果评判者的变更使它们翻转，CI 就会失败。这能捕获破坏先前正确行为的提示词编辑。
对抗性案例同样重要：冗长但错误的答案、简洁但正确的答案、拒绝回答，以及仅含 tool call 的输出。这些测试评判者是否对表面形式而非实质内容敏感。一个给冗长错误答案打分高于简洁正确答案的评判者，测量的并不是你以为的东西。
ators-fe71ad-47747d.jpg)
这里的代价是测试维护。每个新边界情况都会变成一个测试。但评判者损坏的代价是评估历史被污染，修复起来要昂贵得多。
跨评判者分歧作为信号
在样本上运行来自不同模型家族的两个评判者，可以定位模糊的评分标准语言。当它们分歧时，往往是因为评分标准不清晰，而不是某个评判者错了。分歧是评分标准缺陷报告，不是要被平均掉的平局。
将分歧率与分数一起发布，让读者知道误差范围。4.2 分伴随 30% 的分歧率，与 4.2 分伴随 2% 的分歧率截然不同。前者表明评分标准需要改进；后者表明评判者是一致的。
代价是成本：运行两个评判者会使 inference 翻倍。但获得的关于评分标准质量的信息往往值得，尤其是在评分标准开发期间。
结论
LLM-as-judge 是一项强大的技术，但它的可信度取决于其最薄弱的环节。固定模型、提示词、评分标准和解码参数。像对待任何其他依赖一样对它们进行版本管理。对评分器进行回归测试。对照人工标注进行校准。将跨评判者分歧视为信号，而非噪声。当评判者是一个组件时，评估就成为一种测量。
封面照片：Jakub Pabis / Pexels。