أعادت Gray Swan إطلاق مسابقة Arena للاختبار الأحمر، حيث يستهدف الشكل الجديد عصر وكلاء الذكاء الاصطناعي، وفقًا لمجلة Fortune. تستهدف إعادة الإطلاق الأنظمة الوكيلية بدلاً من مخرجات النموذج أحادية الدور، وتُقدَّم المسابقة كتقييم خصومي لسلوك الوكيل.
إن التحول في التأطير هو جوهر القصة. اختبار متانة مستوى الـ prompt يسأل عما إذا كان يمكن إقناع النموذج بإجابة واحدة غير آمنة؛ أما تقييم الوكيل فيسأل عما يفعله النظام عبر سلسلة من استدعاءات الأدوات والحالات الوسيطة والمهام الفرعية المفوَّضة. هذه أسطح فشل مختلفة، ويصعب تسجيلها بشكل قابل للتكرار، لأن نفس مسار الوكيل يمكن أن يتباين تحت تغييرات صغيرة في البيئة أو الذاكرة أو توفر الأدوات. صيغة المسابقة لا تحل هذه الصعوبة، لكنها تجعل الصعوبة علنية وقابلة للمقارنة.
بالنسبة للفرق التي تبني أنظمة وكلاء، فإن النتيجة العملية هي أن التقييم الخصومي ينتقل من كونه بندًا في قائمة شراء النموذج إلى ادعاء سلوكي سيُطلب من البائعين إثباته. ما لا يثبته تقرير Fortune هو منهجية تسجيل المسابقة، أو مجموعة المهام، أو الجدول الزمني، أو ما إذا كانت النتائج ستُنشر بشكل يدعم المقارنة بين الأنظمة. هذه التفاصيل مهمة لأي شخص ينوي استخدام نتائج Arena كدليل، وينبغي اعتبارها مفتوحة حتى توثقها Gray Swan. رأي الاستوديو هو أن صيغ الاختبار الأحمر تكون أكثر فائدة عندما يكون الإطار القابل للفحص، وليس فقط لوحة الصدارة، متاحًا للاطلاع.