Dalian Teknoloji Üniversitesi, çok modlu robot görevleri için bir kıyaslama seti olan VA-Bench'i yayımladı. Bildirilen sonuçlarda önde gelen çok modlu modeller, kıyaslama görevlerinin yalnızca yaklaşık yarısını tamamladı. Bu rakam, bir algı ya da açıklama (captioning) puanı değil, görev tamamlama ölçüsüdür; bu da onu, bir modelin bedenlenmiş bir talimatı tamamlanmış bir sonuca kadar götürüp götüremeyeceğine dair daha doğrudan bir sinyal haline getirir.
Bu ayrım, fiziksel agent'lar geliştiren ekipler için önemlidir. Algı ve açıklama kıyaslama setleri güçlü görünebilirken, bir modelin robot ortamında eylemleri sıralayıp sıralayamadığı, görev durumunu koruyup koruyamadığı ve başarısızlıktan toparlanıp toparlanamadığı belirsiz kalır. VA-Bench'te %50'ye yakın bir tamamlama oranı, bedenlenmiş sistemlere yönelik daha geniş yetenek iddialarına karşı faydalı bir !
632c8.jpg))r.
Sağlanan içeriğin netleştirmediği noktalar; tam model kümesi, görev sayısı, puanlama protokolü ve görevlerin simülasyonda mı yoksa donanım üzerinde mi çalıştırıldığıdır. Bu ayrıntılar sonucun ne kadar genellenebileceğini belirler; bu nedenle stüdyo, tam kıyaslama metodolojisi incelenene kadar manşet rakamı yön gösterici olarak ele alır. İçerikte herhangi bir yayın tarihi yer almıyordu.