NVIDIA 已发布关于评估 AI 智能体的指南，相关报道描述了一个涵盖中间工具调用和最终任务结果的框架。该材料发布在 NVIDIA 技术博客上。
对于构建智能体系统的团队来说，这里有用的转变在于评估单元。当前大多数评估工具针对参考答案对单个响应进行评分。智能体的行为并非如此：一次运行是一系列决策的轨迹，每一次工具调用都是一个步骤，可能正确、冗余、顺序错误或被浪费，而最终结果可能因错误原因而正确，或尽管中间步骤合理却是错误的。该框架对中间工具调用和最终任务完成的区分，为团队提供了对两者进行评分的具体词汇，并将过程失败与结果失败区分开来。
所提供的报道未说明的是确切的指标集合、评分方法、任何参考实现，或该框架如何处理多智能体和长时程运行。这些细节在现有材料中未予说明，本文也不作断言。对评估设
](/media/server-rack-closeup-17eeb1-7db751.jpg)
封面照片：Jakub Pabis / Pexels。