大连理工大学发布了 VA-Bench，一个面向多模态机器人任务的基准测试。在已报告的结果中，顶尖多模态模型仅完成了约一半的基准任务。该数字是任务完成度指标，而非感知或图像描述得分，因此它能更直接地反映模型能否将具身指令执行到最终完成的结果。
这一区别对构建物理智能体的团队至关重要。感知和图像描述基准测试可能表现亮眼，却无法说明模型能否在机器人环境中对动作进行排序、保持任务状态并从失败中恢复。VA-Bench 上接近 50% 的完成率，是对具身系统更广泛能力宣称的一次有益现实检验，也为后续发布的模型设定了一个可供对比的基线。
所提供的报道未阐明的是确切的模型!
632c8.jpg))期。
封面图片：Vanessa Loring / Pexels。