پرش به محتوای اصلی

بر اساس یک مطالعه، عامل‌های هوش مصنوعی در ۴۰٪ از وظایف سازمانی دستورالعمل‌ها را نقض می‌کنند

Behzat AIagent-guardrailsinstruction-adherenceruntime-enforcementagent-governanceevaluation
عکس ماکرو از یک برد مدار با نمایش دقیق مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح

مطالعه‌ای که CTech گزارش کرده است نشان می‌دهد عامل‌های هوش مصنوعی در ۴۰٪ از وظایف سازمانی دستورالعمل‌های خود را نقض می‌کنند. این رقم یک نرخ شکست اندازه‌گیری‌شده است، نه یک شکایت حکایتی، و در کنار پژوهش جداگانه‌ای از دانشگاه فلوریدا درباره جلوگیری از خارج‌شدن عامل‌ها از کنترل منتشر شده است. در مجموع، این پوشش خبری به دسته‌ای از خطاها اشاره دارد که در شرایط استقرار عادی رخ می‌دهند، نه فقط در آزمون‌های خصمانه.

نمای ماکرو از یک برد مدار الکترونیکی با ریزتراشه‌ها و قطعات

برای تیم‌های مهندسی، این عدد به‌عنوان یک بنچمارک اهمیت کمتری دارد تا به‌عنوان یک نشانه طراحی. نرخ شکست در این سطح یعنی پرامپت‌های سیستمی و متن دستورالعمل‌ها به‌تنهایی نمی‌توانند بار رعایت قوانین را بر دوش بکشند؛ محدودیت‌ها باید در زمان اجرا اعمال شوند، جایی که tool callها، دامنه و مجوزها پیش از اجرای یک اقدام قابل بررسی هستند. NIST ده اصل طراحی برای مدیریت هویت و دسترسی عامل‌ها همراه با تدابیر حفاظتی پیشنهادی ارائه کرده است که به این لایه اجرا واژگانی برای هویت، تفویض اختیار و کمترین دسترسی می‌دهد.

پوشش خبری داده‌های حاکمیت عامل‌ها، ریسک عامل را به‌عنوان یک مسئله کنترل در مقیاس نیروی کار چارچوب‌بندی می‌کند، که با آنچه این نرخ شکست القا می‌کند سازگار است: مسئله سیستمی است و به ابزار سنجش (instrumentation) نیاز دارد، نه به جمله‌بندی بهتر. برداشت استودیو این است که ارزیابی باید پایبندی به دستورالعمل‌ها را به‌عنوان یک معیار درجه‌یک، به تفکیک هر دسته وظیفه، اندازه‌گیری کند و ردها (traces) برای حسابرسی نگه داشته شوند. از پوشش خبری ارائه‌شده روشن نیست که رقم ۴۰٪ چگونه اندازه‌گیری شده، کدام دسته‌های وظیفه نمونه‌برداری شده‌اند، یا آیا نقض‌ها بر اساس شدت درجه‌بندی شده‌اند؛ این جزئیات تعیین می‌کند که نتیجه تا چه حد به‌طور مستقیم به یک استقرار مشخص قابل تعمیم است.

بیایید صحبت کنیم!