替代论证
当每个样本都需要人工关注时，大规模评估生成式系统的成本很高。一种常见的应对方式是替代：将大部分输出交给更小、更便宜的分类器处理，把人工审核留给剩余部分。这个论证很直接。如果评分标准足够窄、标签空间足够小，一个紧凑模型就能以极低的成本近似更大模型的判断。
这个论证通常是正确的。像这个回答是否包含一个能解析到真实来源的引用这样的二元判断，是一项受限任务。一个带有严格提示词的小模型可以足够可靠地处理它，用于聚合报告。节省是真实的，但只有一个前提：评判者的误差必须被测量，而不是被假定。一条只报告分数、却不报告产生该分数的仪器精度的流水线，报告的不是证据。它报告的是一个恰好可以计算出来的数字。
这种失效模式很隐蔽，因为评判者很少大声出错。它出错的方向是表面上的合理性。一个流畅、结构良好、措辞自信的输出，比一个简洁但实际正确的输出更可能被评为正确。这不是某个特定模型的缺陷；这是基于人类偏好数据训练的一种属性，在这种数据中，流畅度与认可度相关。
评判者实际在测量什么
在校准评判者之前，明确它是什么的代理会有所帮助。在大多数流水线中，评判者测量的不是抽象意义上的质量。它测量的是与评分标准的一致性，而评分标准是对团队真正关心之物的有损压缩。由此产生两种失效模式。
第一，评分标准可能在某些方面规定不足，评判者会任意地加以解决。如果评分标准说答案必须基于所提供的上下文，评判者就必须决定什么算作基于：改写、直接引用、引用标记，还是一个仅仅不与上下文矛盾的断言。不同的评判者对此有不同的解决方式，同一个评判者在不同运行中也可能有不同的解决方式。
第二，评判者可能测量的是目标的某种相关物。长度、格式、模糊措辞以及是否出现枚举步骤，在许多数据集中都与人类认可度相关。一个学会了这些相关物的评判者，会给一个格式良好但错误的答案打出比一个写得平实但正确的答案更高的分。这是核心的测量问题，也是为什么对抗性样本比平均情况样本更重要。
校准方法
实用的方法并不光鲜。留出一部分人工标注的评估集，按评分标准维度分层，并按维度而非单一聚合值报告评判者一致性。聚合一致性会掩盖这种情况：评判者在事实依据上表现出色，但在语气上近乎随机。
按维度报告还有第二个好处：它让评判者的盲区对使用分数的人变得清晰可见。如果评判者在 90% 的事实性断言上与人类一致，但在 60% 的完整性判断上一致，下游读者就知道该信任哪些数字。
生成器变化时的漂移
针对一个生成器校准的评判者，不会自动针对下一个生成器保持校准。当生成器模型更新时，其输出的分布会发生变化：不同的措辞、不同的拒绝行为、不同的失效模式。上个季度调好的评判者现在可能已经失准，而这种失准不会自我宣告。分数会继续出现，并且继续看起来合理。
防范这一点的机制是一个固定的校准集，每当生成器变化时就重新评分。校准集不应被重新生成；它应被冻结，这样评判者一致性的变化反映的是评判者或生成器的变化，而不是测试的变化。对冻结集重新评分成本很低。跳过它，就是流水线悄然失去测量效度的方式。
对抗性样本
最有用的校准样本，是那些表面流畅度与正确性发生背离的样本。刻意构造它们：
- 一个流畅、结构良好但事实错误的答案。
- 一个简洁、格式糟糕但正确的答案。
- 一个正确但与一个看似合理的先验相矛盾的答案。
- 一个引用了不存在的来源的答案。
- 一个结论正确但推理错误的答案。
一个给第一个答案打出比第二个更高分的评判者，学到的是风格，而不是正确性。这不是丢弃评判者的理由；这是在这一特定切片上报告其精度的理由。一个有已知弱点的评判者是一台可用的仪器。一个有未知弱点的评判者是虚假信心的来源。
还有一个进一步的对抗性担忧。当生成器和评判者共享训练谱系时，它们可能共享系统性偏差。一个与生成器出自同一家族的评判者，更可能认为生成器的输出可接受，不是因为它们正确，而是因为它们熟悉。在可能的情况下，评判者应出自与生成器不同的家族，而残余的一致性应被测量，而不是被假定。
诚实的权衡
这一切都不反对模型即评判者的流水线。另一种选择——对每个样本进行人工审核——无法扩展到现代评估所需的规模，而当评分标准足够窄时，替代论证是成立的。权衡在于覆盖度与效度
这种权衡在不同评分标准维度上并不均匀。对于狭窄、可验证的维度，如格式合规性或引用解析，一个小评判者可以接近即插即用的替代品。对于需要判断推理质量或完整性的维度，替代性较弱，人工切片必须更大。把评判者视为在所有维度上均匀可靠，是这种权衡被错误定价的最常见方式。
一个相关的权衡涉及校准本身的延迟和成本。每当生成器变化时对冻结的校准集重新评分，会给发布流程增加一个步骤。相对于发布一个不再测量其所声称之物的指标的成本，这个步骤很便宜，但它毕竟是一个步骤，在进度压力下会被跳过，除非它成为完成定义的一部分。
报告规则
将评判者精度与它产生的指标一起发布。一个没有其仪器精度的分数不是证据。在实践中，这意味着每个报告的评估数字都携带三样东西：指标、评判者在相关维度上与人类的一致性，以及上次校准的日期。
这条规则令人不适，因为它让评估报告更长、更不易被引用。一个单一数字比一个附带置信度限定词的数字更容易传播。但另一种选择是一个悄然漂移、在早已失去意义之后仍被信任的指标。
这条规则也改变了评估的范围界定方式。如果一个维度无法以合理成本对照人工标签进行校准，那也是信息。它可能意味着该维度尚未能在所需粒度上被测量，而诚实的回应是如实说明，而不是报告一个不加限定的分数。
是仪器，不是装饰
评判者是一台测量仪器。仪器需要校准、漂移监控和对抗性测试，并且需要将其误差与输出一起报告。小评判者的替代论证是成立的，但它是关于成本的论证，不是关于效度的论证。效度必须单独赢得，按维度、按生成器版本，并且每当两者之一变化时重新赢得。
把评判者当作基础设施而非捷径的团队，能获得覆盖度收益而不带虚假信心。把它当作捷径的团队，得到的是看起来像证据、实则不是的数字。区别不在于模型。而在于是否有人测量了这台仪器。
封面照片：Júlio Riccó / Pexels。