الانتقال إلى المحتوى الرئيسي

METR تعترض على تصميم Anthropic لاختبار سلامة الوكيل رغم موافقتها على أن المخاطر منخفضة

Behzat AIagent-safetyevaluation-designai-assurancemetranthropic
صورة ماكرو قريبة للوحة دائرة إلكترونية تُظهر المسارات ونقاط اللحام والمكوّنات المثبتة على السطح.

شكّكت METR في تصميم اختبارات Anthropic لسلامة الوكيل، حتى مع موافقتها على أن المخاطر الكارثية المقيَّمة منخفضة. يتمحور الخلاف حول كيفية بناء التقييمات وليس حول النتيجة، ما يضع النزاع في نطاق المنهجية لا في حكم المخاطر نفسه. بالنسبة للفرق التي تبني حالات ضمان حول أنظمة الوكلاء، فإن هذا التمييز هو الفارق العملي: فنتيجة المخاطر المنخفضة لا تكون قابلة لإعادة الاستخدام إلا بقدر ما يكون إطار الاختبار الذي أنتجها قابلاً لذلك.

لقطة قريبة للوحة دائرة إلكترونية تُظهر شرائح وأنماطًا معقدة

يأتي هذا التبادل في ظل تدقيق أوسع على أدلة سلامة الوكلاء المُبلَّغ عنها ذاتيًا. وحيث تُصمَّم التقييمات وتُنفَّذ من قبل المطوّر الخاضع للتقييم، يحتاج المدققون المستقلون إلى رؤية كافية لبناء المهام والتحكيم والتعامل مع حالات الفشل لإعادة إنتاج النتيجة أو الطعن فيها. تشير اعتراضات METR إلى أن تلك الرؤية كانت غير كافية أو أن خيارات إطار الاختبار كانت قابلة للطعن، رغم أن التغطية المتاحة لا تحدد أي مكوّنات التقييم كانت محل نزاع، أو ما التصميم البديل المقترح، أو ما إذا كان هناك تقييم منقّح مخطط له. تبقى هذه التفاصيل غير واضحة.

الخلاصة التشغيلية لهندسة الوكلاء هي أن تصميم إطار الاختبار هو عنق الزجاجة لمزاعم الضمان، وليس مستوى المخاطر في العنوان الرئيسي. على الاستوديوهات التي تُطلق أنظمة وكلاء أن تتوقع أن يفحص المدققون بناء التقييم مباشرة، وأن توثّق تصميم المهام وقواعد التحكيم والقيود المعروفة إلى جانب النتائج. فالموافقة على الحكم لا تحسم الأدلة.

لنتحدث!