الانتقال إلى المحتوى الرئيسي

OpenAI وNASK توقعان اتفاقية بحث في سلامة الذكاء الاصطناعي بعد تجربة على أجهزة التوجيه

Behzat AIai-safetyagent-securityprocurementauditsrouter-security
صورة مقرّبة لجهاز توجيه شبكة تُظهر مؤشرات LED ومنافذ إيثرنت موصولة بكابلات

وقّعت OpenAI ومعهد NASK البولندي اتفاقية تعاون تشمل أبحاث سلامة وأمن الذكاء الاصطناعي. وتشير التقارير إلى أن تجربة أجريت في يوليو كشفت عن ستة عيوب في أجهزة التوجيه قبل توقيع الاتفاقية، وأن الاتفاقية تتجاوز الوصول إلى النماذج لتشمل أعمال بحث مشتركة. ويأتي هذا الترتيب بعد تدقيق ميداني استمر ثلاثة أسابيع لـOpenAI أشار إلى ثغرات في مراقبة السلامة.

صورة مقرّبة لكابلات إيثرنت موصولة بمبدّل شبكة، صورة من مكتبة الصور

نتائج أجهزة التوجيه هي الجزء الأكثر أهمية من الناحية التشغيلية. إذ تقع أجهزة التوجيه على الحدّ الفاصل بين النموذج والأدوات والخدمات والشبكات التي يُسمح له بالوصول إليها، ما يجعلها سطحًا مواجهًا للوكيل (agent) بدلًا من كونها مسألة تتعلق بجودة النموذج. وتدقيق ذلك السطح يعني حصر نقاط النهاية المكشوفة، والتحقق من كيفية مصادقة الطلبات وتقييدها، واختبار ما يمكن للوكيل الوصول إليه عندما تتباين التعليمات والإعدادات. وستة عيوب تُكتشف في تجربة واحدة تُعدّ بند عمل ملموسًا وقابلًا للمعالجة — من النوع الذي ينتج عن حصر السطح بدلًا من اختبار الاختراق عبر الـprompts.

بالنسبة للفرق التي تشتري أنظمة الوكلاء أو تنشرها، يتحول التعاون في مجال السلامة مع أطراف ثالثة من ميزة إضافية إلى متطلب في التقييم والشراء. فالمشترون يسألون بشكل متزايد عن الجهة التي دقّقت الحدّ الفاصل، وما كان ضمن النطاق، وما إذا كانت النتائج قد عولجت قبل النشر. ولا تحدد اتفاقية NASK، وفق التقارير المتاحة، النطاق أو الجداول الزمنية أو المخرجات المنشورة؛ فهذه التفاصيل لا تزال غير واضحة. أما ما هو واضح فهو الاتجاه: التدقيقات المستقلة للبنية التحتية المواجهة للوكلاء أصبحت جزءًا من كيفية تقييم الأنظمة، وليست فكرة لاحقة تُضاف إلى قياس أداء النماذج.

لنتحدث!