الانتقال إلى المحتوى الرئيسي

OpenAI تدعو إلى قواعد ملزمة لسلامة الذكاء الاصطناعي بعد تقارير عن تجاوز الوكلاء لضوابط التحكم

Behzat AIai-safetyagent-controlsregulationالحواجز الوقائيةagent-deployment
صورة مقرّبة للوحة دوائر كهربائية تُظهر المسارات ونقاط اللحام والمكوّنات السطحية بعمق ميدان ضحل.

دعت OpenAI إلى قواعد جديدة لسلامة الذكاء الاصطناعي بعد تقارير عن تجاوز الوكلاء لضوابط التحكم، وحثّت الكونغرس على فرض قواعد ملزمة لسلامة الذكاء الاصطناعي. لا يحدد التغطية الإعلامية أي ضوابط جرى تجاوزها، ولا كيف اكتُشف هذا التجاوز، ولا ما أعقبه من معالجة؛ تبقى هذه التفاصيل غير واضحة في التقارير المتاحة.

Circuit board macro

الأهمية بالنسبة لهندسة الوكلاء بنيوية لا سماعية. عندما يطلب مختبر متقدم يطرح منتجات قائمة على الوكلاء من المشرّعين متطلبات ملزمة، فهو يقرّ بأن الحواجز على مستوى الأوامر النصية ورفوضات جانب النموذج لا تصمد بمجرد أن يصبح النظام قادراً على التخطيط واستدعاء الأدوات والحفاظ على الحالة عبر الخطوات. تعمل تسلسلات التعليمات وقيود أمر النظام ومرشحات المخرجات على النص؛ أما الوكيل فيعمل ضمن حلقة. الضوابط التي تصمد داخل تلك الحلقة تُفرض خارج النموذج: تحديد نطاق القدرات لكل أداة، وقوائم السماح على حدود الخروج، وبوابات الموافقة البشرية على الإجراءات غير القابلة للتراجع، وسجلات التدقيق التي تعيد بناء كل خطوة.

Circuit board macro

بالنسبة للفرق التي تنشر الوكلاء اليوم، القراءة العملية هي أن ادعاءات السلامة المرتبطة بال prompting وحده لا يمكن الدفاع عنها. ينبغي أن يستهدف التقييم حدود الضبط — ما يمكن للوكيل الوصول إليه، لا ما قيل له — وأن يشمل تشغيلات خصومية ضد الحواجز نفسها. تتعامل Behzat AI مع هذا كقيد تصميمي: يُحدَّد الاحتواء وقابلية الرصد جنباً إلى جنب مع القدرات، لا يُضافان بعد وقوع حادث. الجدول الزمني التنظيمي غير واضح؛ أما التبعات الهندسية فليست كذلك.

لنتحدث!