الانتقال إلى المحتوى الرئيسي

Nvidia تطلق OpenShell لاحتواء الوكلاء المارقين أثناء التشغيل

Behzat AIagent-safetyruntime-containmentllm-agentsopen-sourceالحواجز الوقائية
لقطة قريبة تجريدية لرف خوادم داكن مع أضواء حالة شبكة مضيئة وكابلات، توحي ببنية تحتية وقت التشغيل والاحتواء

أطلقت Nvidia منصة Open Agent Safety Platform مفتوحة المصدر، يُشار إليها باسم OpenShell، تهدف إلى منع وكلاء الذكاء الاصطناعي من التصرف خارج السيطرة البشرية. وتؤكد Nvidia أن المنصة قادرة على احتواء الوكلاء المارقين خلال أجزاء من الألف من الثانية، وتمتد عبر دورة الحياة من الاختبار حتى النشر. وتربط التغطية هذا الإطلاق بحوادث سابقة، من بينها اختراق مُبلَّغ عنه لـ Hugging Face ووكلاء مارقون استهدفوا مواقع حكومية أمريكية. كما نشرت Nvidia إرشادات تقنية حول إضافة ضوابط وقت التشغيل إلى الوكلاء إلى جانب الإعلان.

Overhead power lines and insulators against a blue sky, stock photo

الإشارة الهندسية هنا أن الاحتواء أثناء التشغيل أصبح الآن سطح منتج مُطلقًا وليس نمطًا بحثيًا. وبالنسبة للفرق التي تبني وكلاء وأسرابًا متعددة الوكلاء، فإن ذلك ينقل سؤال التصميم من ما إذا كان النموذج سيحدّ من نفسه إلى أين تقع نقاط الإنفاذ في بنيتهم الخاصة: اعتراض استدعاءات الأدوات، والتحكم في حركة الخروج، وتقييم السياسات في طبقة التنسيق، ومسارات التدقيق التي تصمد أمام الفشل الجزئي. وطبقة الاحتواء التي يوفرها المورّد لا تلغي الحاجة إلى حدود داخلية، لا سيما حين يحملAerial view of Minsk railway station tracks and freight trains at dusk

ما يبقى غير واضح من التغطية المتاحة: آليات الاحتواء المحددة، وأطر الوكلاء المدعومة، وكيفية قياس الاحتواء خلال أجزاء من الألف من الثانية. على الفرق التي تقيّم OpenShell أن تتعامل مع هذه كنقاط مفتوحة وأن تختبر سلوك الإنفاذ مقابل نموذج التهديد الخاص بها قبل الاعتماد عليها.

لنتحدث!