Даляньский технологический университет выпустил VA-Bench — бенчмарк для мультимодальных роботизированных задач. В опубликованных результатах ведущие мультимодальные модели выполнили лишь около половины задач бенчмарка. Этот показатель измеряет завершение задач, а не качество восприятия или подписей к изображениям, что делает его более прямым сигналом о том, способна ли модель довести воплощённую инструкцию до конечного результата.
Это различие важно для команд, создающих физических агентов. Бенчмарки восприятия и подписей к изображениям могут выглядеть убедительно, оставляя при этом открытым вопрос, умеет ли модель выстраивать последовательность действий, удерживать состояние задачи и восстанавливаться после сбоя в роботизированной среде. Доля завершения около 50% на VA-Bench — полезная проверка реальности на фоне широких заявлений о возможностях воп!
632c8.jpg))ы.
Что не проясняет предоставленное освещение — это точный набор моделей, число задач, протокол оценки и то, выполнялись ли задачи в симуляции или на аппаратном обеспечении. Эти детали определяют, насколько результат обобщается, поэтому студия рассматривает заглавную цифру как ориентировочную до тех пор, пока не будет изучена полная методология бенчмарка. Дата публикации в освещении не указана.