一份报告指出，AI 评估可能看似无偏，实则并不公平。对于交付 agent 的团队而言，这一区分是操作层面的，而非学术层面的：如果评估套件带有结构性偏差，且这种偏差不会以方差的形式显现，那么验收测试会通过，而部署后的系统却会对用户做出错误的排序。这是测量契约问题，而非模型质量问题，并且它位于大多数发布决策的上游。
相关研究指向同一方向。一项研究考察了多任务设置下 LLM 的低资源幻觉检测；另一项研究分析了成对响应的最终分歧特征，以此刻画越狱脆弱性。两者都将评估视为需要验证的测量工具，而非可以信赖的记分板。一篇关于 LLM agent 的综述梳理了从单一工具调用到多工具编排的转变，这拓宽了验收套件必须覆盖的范围：路由、工具选择和多步状态都成为可测试的行为。
从所提供的报道来看，仍不清楚的是范围与方法——报告的具体失效模式、幻觉与越狱工作背后的数据集，以及其中是否有任何一项提出了具体的审计流程。对 agent 工程而言，实际含义是将评估设计视为一份契约：定义任务中公平的含义，测试测试本身，并在准确率之外保留分歧与路由检查。