METR طراحی آزمونهای ایمنی agent شرکت Anthropic را زیر سؤال برده است، حتی در حالی که با این موضوع که ریسک فاجعهبار ارزیابیشده پایین است موافق است. اختلاف بر سر نحوه ساخت ارزیابیها است، نه بر سر نتیجه، و این امر اختلاف را در حوزه روششناسی قرار میدهد نه در خود حکم ریسک. برای تیمهایی که حول سیستمهای agent پروندههای تضمین (assurance case) میسازند، همین تمایز جنبه عملی ماجراست: یافتهای با ریسک پایین تنها به همان اندازهای قابل استفاده مجدد است که harness تولیدکننده آن قابل استفاده مجدد باشد.

این تبادل نظر در میان بررسیهای گستردهتر درباره شواهد ایمنی agent که خودِ توسعهدهنده گزارش میکند رخ میدهد. هنگامی که ارزیابیها توسط همان توسعهدهندهای که ارزیابی میشود طراحی و اجرا میشوند، حسابرسان مستقل به اندازه کافی دید نسبت به ساختار وظایف، امتیازدهی و مدیریت خطا نیاز دارند تا بتوانند نتیجه را بازتولید یا به چالش بکشند. اعتراض METR نشان میدهد که این دید کافی نبوده یا انتخابهای harness قابل مناقشه بودهاند، هرچند پوشش ارائهشده مشخص نمیکند کدام اجزای ارزیابی مورد اختلاف بودهاند، چه طراحی جایگزینی پیشنهاد شده، یا آیا ارزیابی بازنگریشدهای در برنامه است. این جزئیات همچنان نامشخص است.
نتیجه عملی برای مهندسی agent این است که طراحی harness گلوگاه ادعاهای تضمین است، نه سطح ریسک تیتروار. استودیوهایی که سیستمهای agent ارائه میدهند باید انتظار داشته باشند که حسابرسان ساختار ارزیابی را مستقیماً بررسی کنند و باید طراحی وظایف، قواعد امتیازدهی و محدودیتهای شناختهشده را همراه با نتایج مستند کنند. توافق بر سر حکم نهایی، شواهد را حلوفصل نمیکند.
