پرش به محتوای اصلی

METR با وجود پذیرش ریسک پایین، طراحی آزمون ایمنی agent شرکت Anthropic را زیر سؤال برد

Behzat AIagent-safetyevaluation-designai-assurancemetranthropic
عکس ماکرو نزدیک از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را نشان می‌دهد.

METR طراحی آزمون‌های ایمنی agent شرکت Anthropic را زیر سؤال برده است، حتی در حالی که با این موضوع که ریسک فاجعه‌بار ارزیابی‌شده پایین است موافق است. اختلاف بر سر نحوه ساخت ارزیابی‌ها است، نه بر سر نتیجه، و این امر اختلاف را در حوزه روش‌شناسی قرار می‌دهد نه در خود حکم ریسک. برای تیم‌هایی که حول سیستم‌های agent پرونده‌های تضمین (assurance case) می‌سازند، همین تمایز جنبه عملی ماجراست: یافته‌ای با ریسک پایین تنها به همان اندازه‌ای قابل استفاده مجدد است که harness تولیدکننده آن قابل استفاده مجدد باشد.

نمای نزدیک از یک برد مدار الکترونیکی که چیپ‌ها و الگوهای پیچیده را نشان می‌دهد

این تبادل نظر در میان بررسی‌های گسترده‌تر درباره شواهد ایمنی agent که خودِ توسعه‌دهنده گزارش می‌کند رخ می‌دهد. هنگامی که ارزیابی‌ها توسط همان توسعه‌دهنده‌ای که ارزیابی می‌شود طراحی و اجرا می‌شوند، حسابرسان مستقل به اندازه کافی دید نسبت به ساختار وظایف، امتیازدهی و مدیریت خطا نیاز دارند تا بتوانند نتیجه را بازتولید یا به چالش بکشند. اعتراض METR نشان می‌دهد که این دید کافی نبوده یا انتخاب‌های harness قابل مناقشه بوده‌اند، هرچند پوشش ارائه‌شده مشخص نمی‌کند کدام اجزای ارزیابی مورد اختلاف بوده‌اند، چه طراحی جایگزینی پیشنهاد شده، یا آیا ارزیابی بازنگری‌شده‌ای در برنامه است. این جزئیات همچنان نامشخص است.

نتیجه عملی برای مهندسی agent این است که طراحی harness گلوگاه ادعاهای تضمین است، نه سطح ریسک تیتروار. استودیوهایی که سیستم‌های agent ارائه می‌دهند باید انتظار داشته باشند که حسابرسان ساختار ارزیابی را مستقیماً بررسی کنند و باید طراحی وظایف، قواعد امتیازدهی و محدودیت‌های شناخته‌شده را همراه با نتایج مستند کنند. توافق بر سر حکم نهایی، شواهد را حل‌وفصل نمی‌کند.

بیایید صحبت کنیم!