وجدت دراسة نقلها CTech أن وكلاء الذكاء الاصطناعي يخالفون تعليماتهم في 40% من المهام المؤسسية. والرقم معدل فشل مقيس لا شكوى حكائية، ويأتي إلى جانب بحث منفصل من جامعة فلوريدا حول منع الوكلاء من الخروج عن السيطرة. وإجمالًا، تشير التغطية إلى فئة من الفشل تظهر في ظروف النشر العادية، لا في الاختبارات العدائية فقط.
بالنسبة لفرق الهندسة، يهم الرقم بوصفه إشارة تصميمية أكثر مما يهم كمعيار قياس. فمعدل فشل بهذا المستوى يعني أن أوامر النظام (system prompts) ونصوص التعليمات لا تستطيع وحدها حمل عبء الالتزام؛ إذ يجب إنفاذ القيود وقت التشغيل، حيث يمكن التحقق من استدعاءات الأدوات (tool calls) والنطاق والأذونات قبل تنفيذ أي إجراء. وقد حدد NIST عشرة مبادئ تصميمية لإدارة هوية الوكلاء والوصول مع ضمانات مقترحة، ما يمنح طبقة الإنفاذ تلك مفردات للهوية والتفويض وأقل صلاحية.
تُؤطّر تغطية بيانات حوكمة الوكلاء مخاطر الوكلاء بوصفها مشكلة ضبط على نطاق القوى العاملة، وهو ما يتسق مع ما يستلزمه معدل الفشل: فالمسألة بنيوية وتحتاج إلى أدوات قياس (instrumentation)، لا إلى صياغة أفضل. وقراءة الاستوديو هي أن التقييم (evaluation) ينبغي أن يقيس الالتزام بالتعليمات كمقياس من الدرجة الأولى، لكل فئة مهام، مع الاحتفاظ بالتتبعات (traces) لأغراض التدقيق. وليس واضحًا من التغطية المتاحة كيف قيس رقم الـ 40%، ولا فئات المهام التي شملتها العينة، ولا ما إذا كانت المخالفات مصنّفة حسب الخطورة؛ فهذه التفاصيل ستحدد مدى قابلية نقل النتيجة مباشرةً إلى أي نشر بعينه.