دانشگاه صنعتی دالیان VA-Bench را منتشر کرده است؛ یک بنچمارک برای وظایف رباتیک چندوجهی. در نتایج گزارش‌شده، مدل‌های برتر چندوجهی تنها حدود نیمی از وظایف بنچمارک را به پایان رساندند. این رقم معیاری برای تکمیل وظیفه است، نه امتیاز ادراک یا توصیف تصویر، و همین آن را به نشانه‌ای مستقیم‌تر از این تبدیل می‌کند که آیا یک مدل می‌تواند یک دستور مجسم را تا نتیجه نهایی پیش ببرد یا نه.
این تمایز برای تیم‌هایی که عامل‌های فیزیکی می‌سازند اهمیت دارد. بنچمارک‌های ادراک و توصیف تصویر می‌توانند قوی به نظر برسند و در همان حال این پرسش را بی‌پاسخ بگذارند که آیا مدل می‌تواند کنش‌ها را توالی‌بندی کند، وضعیت وظیفه را حفظ کند و از شکست در محیط رباتیک بازیابی شود. نرخ تکمیل نزدیک به ۵۰٪ در VA-Bench یک واقع‌سنجی مفید در برابر ادعاهای گسترده‌تر دربا!
632c8.jpg))د.
آنچه پوشش ارائه‌شده روشن نمی‌کند مجموعه دقیق مدل‌ها، تعداد وظایف، پروتکل امتیازدهی و این است که وظایف در شبیه‌سازی اجرا شده‌اند یا روی سخت‌افزار. این جزئیات تعیین می‌کنند که نتیجه تا چه حد قابل تعمیم است، بنابراین استودیو عدد تیتر را تا زمان بررسی روش‌شناسی کامل بنچمارک، جهت‌نما در نظر می‌گیرد. هیچ تاریخ انتشاري در پوشش ذکر نشده است.