Fortune'a göre Gray Swan, red-teaming Arena yarışmasını yeniden başlattı; format artık AI ajanları dönemini hedefliyor. Yeniden başlatma, tek turlu model çıktıları yerine ajanik sistemleri hedefliyor ve yarışma, ajan davranışının düşmanca değerlendirmesi olarak konumlandırılıyor.
Çerçevelemedeki bu değişim, haberin özünü oluşturuyor. Prompt düzeyinde dayanıklılık testi, bir modelin güvenli olmayan tek bir yanıta ikna edilip edilemeyeceğini sorar; ajan değerlendirmesi ise bir sistemin bir dizi tool call, ara durum ve devredilen alt görev boyunca ne yaptığını sorar. Bunlar farklı arıza yüzeyleridir ve yeniden üretilebilir biçimde puanlanmaları daha zordur; çünkü aynı ajan yörüngesi, ortam, bellek veya araç kullanılabilirliğindeki küçük değişiklikler altında sapabilir. Bir yarışma formatı bu zorluğu çözmez, ancak zorluğu kamusal ve karşılaştırılabilir hale getirir.
Ajan sistemleri geliştiren ekipler için pratik sonuç şudur: düşmanca değerlendirme, bir model tedarik kontrol listesinden çıkıp satıcıların kanıtlaması istenecek davranışsal bir iddiaya dönüşüyor. Fortune'un haberinin ortaya koymadığı noktalar ise yarışmanın puanlama metodolojisi, görev seti, takvimi veya sonuçların sistemler arası karşılaştırmayı destekleyecek bir biçimde yayımlanıp yayımlanmayacağıdır. Bu ayrıntılar, Arena sonuçlarını kanıt olarak kullanmayı düşünen herkes için önemlidir ve Gray Swan bunları belgeleyene kadar açık kabul edilmelidir. Stüdyonun görüşü, red-team formatlarının yalnızca liderlik tablosunun değil, test düzeneğinin de incelenebilir olduğu durumlarda en faydalı olduğudur.