به گزارش Fortune، Gray Swan مسابقه Arena را بازراه‌اندازی کرده است و قالب آن اکنون برای عصر عامل‌های هوش مصنوعی طراحی شده است. این بازراه‌اندازی به‌جای خروجی‌های تک‌نوبتی مدل، سیستم‌های عاملی را هدف می‌گیرد و مسابقه به‌عنوان ارزیابی تهاجمی رفتار عامل معرفی شده است.
تغییر در چارچوب‌بندی، جان مطلب است. آزمون استحکام در سطح prompt می‌پرسد آیا می‌توان مدل را به یک پاسخ ناایمن واحد وادار کرد؛ اما ارزیابی عامل می‌پرسد یک سیستم در طول زنجیره‌ای از tool callها، حالت‌های میانی و زیروظیفه‌های واگذارشده چه می‌کند. این‌ها سطوح شکست متفاوتی هستند و امتیازدهی تکرارپذیر به آن‌ها دشوارتر است، زیرا یک مسیر (trajectory) یکسان عامل می‌تواند با تغییرات کوچک در محیط، حافظه یا دسترس‌پذیری ابزارها واگرا شود. قالب مسابقه این دشواری را حل نمی‌کند، اما آن را عمومی و قابل‌مقایسه می‌سازد.
برای تیم‌هایی که سیستم‌های عاملی می‌سازند، پیامد عملی این است که ارزیابی تهاجمی از یک مورد تیک‌زدنی در فرایند خرید مدل، به ادعایی رفتاری تبدیل می‌شود که فروشندگان باید آن را مستند کنند. آنچه پوشش Fortune مشخص نمی‌کند، روش امتیازدهی مسابقه، مجموعه وظایف، زمان‌بندی یا اینکه آیا نتایج در قالبی منتشر می‌شوند که مقایسه میان سیستم‌ها را ممکن کند، است. این جزئیات برای هر کسی که قصد دارد نتایج Arena را به‌عنوان شواهد به کار ببرد اهمیت دارد و تا زمانی که Gray Swan آن‌ها را مستند نکند باید باز تلقی شوند. دیدگاه استودیو این است که قالب‌های red-team زمانی بیشترین سود را دارند که نه‌فقط جدول امتیازات، بلکه خود چارچوب آزمون (harness) نیز قابل بازبینی باشد.