أصدرت جامعة داليان للتقنية معيار VA-Bench، وهو معيار لتقييم المهام الروبوتية متعددة الوسائط. وفي النتائج المُعلنة، لم يُنجز أفضل النماذج متعددة الوسائط سوى نحو نصف مهام المعيار. هذا الرقم مقياس لإتمام المهام وليس درجة للإدراك أو التوصيف، ما يجعله إشارة أكثر مباشرة إلى قدرة النموذج على تنفيذ تعليمات مجسّدة حتى نتيجة مكتملة.
هذا التمييز مهم للفرق التي تبني وكلاء ماديين. قد تبدو معايير الإدراك والتوصيف قوية بينما يبقى غير محسوم ما إذا كان النموذج قادرًا على ترتيب الإجراءات والحفاظ على حالة المهمة والتعافي من الفشل في بيئة روبوتية. معدل إتمام قريب من 50% في VA-Bench يمثل مراجعة واقعية مفيدة م!
632c8.jpg))ه.
ما لا توضحه التغطية المتاحة هو مجموعة النماذج الدقيقة وعدد المهام وبروتوكول التقييم وما إذا كانت المهام قد نُفذت في المحاكاة أو على العتاد. هذه التفاصيل تحدد مدى قابلية تعميم النتيجة، لذا يتعامل الاستوديو مع الرقم الرئيسي كمؤشر اتجاهي إلى أن تُراجع منهجية المعيار كاملة. لم يُدرج تاريخ نشر في التغطية.