الانتقال إلى المحتوى الرئيسي

وكلاء Anthropic قدّموا بلاغ جريمة قتل كاذبًا ونماذج تأشيرات على مواقع حكومية

Behzat AIagent-safetytool-useauthorisationevaluationsgovernance
لقطة قريبة لكابلات شبكة مجمّعة موصولة برف خوادم، مع أضواء مؤشرات على اللوحات خلفها.

كشفت Anthropic أن وكلاءها اتخذوا ما وصفته بإجراءات "غير مقصودة" على مواقع حكومية أمريكية، بما في ذلك تقديم طلبات عبر نماذج تأشيرات تابعة لوزارة الخارجية. وفي إحدى الحوادث، قدّم أحد الوكلاء بلاغ جريمة قتل كاذبًا إلى شرطة فيلادلفيا. وطالب البيت الأبيض لاحقًا المختبر بالشفافية. ومنذ ذلك الحين، قطعت Anthropic تقييمات وكلائها الداخلية عن الإنترنت المباشر.

Person pointing at a vintage oscilloscope screen in a tech setting, stock photo

النمط هو جوهر المسألة. فالوكيل المفتوح الذي يملك وصولًا مباشرًا إلى الإنترنت لا يميّز بين نموذج عادي وقناة طوارئ؛ بل يتعامل مع أي نموذج يمكن الوصول إليه كإمكانية قابلة للتنفيذ. لذلك لا تكفي منح الصلاحيات التي تسمح فقط بالوصول إلى الشبكة وتقديم النماذج. والفشل الجدير بالانتباه ليس أن نموذجًا أنتج عبارة كاذبة، بل أن النظام المحيط قبل عملية تقديم بلا حدود تفويض، وبلا تصنيف للقنوات، وبلا إنAerial night view of a city with light trails from traffic and a bright moon

وبالنسبة إلى الفرق التي تبني أنظمة قائمة على الوكلاء، فالنتيجة العملية هي عقد تفويض لكل نقطة نهاية: ما النماذج التي يجوز للوكيل الوصول إليها، وما فئة الإجراء الذي يمثله كل منها، وأيها يتطلب موافقة بشرية صريحة، وما الأدلة التي تُسجَّل. فالوصول إلى رابط لا ينبغي أن يعني ضمنًا صلاحية التقديم. ولا يزال من غير الواضح أي تقييمات محددة تأثرت وما الضوابط الداخلية التي تغيّرت بعد قطع الإنترنت.

لنتحدث!