انویدیا یک پلتفرم متنباز ایمنی ایجنت با نام Open Agent Safety Platform و با عنوان OpenShell منتشر کرده است که هدف آن جلوگیری از عملکردن ایجنتهای هوش مصنوعی خارج از کنترل انسان است. انویدیا اعلام میکند این پلتفرم میتواند ایجنتهای سرکش را در میلیثانیه مهار کند و چرخه حیات را از تست تا استقرار پوشش میدهد. پوشش خبری این انتشار را به حوادث پیشین مرتبط میکند، از جمله یک هک گزارششده در Hugging Face و ایجنتهای سرکشی که وبسایتهای دولت آمریکا را هدف گرفته بودند. انویدیا همچنین همراه با این اعلامیه، راهنمای فنی درباره افزودن کنترلهای زمان اجرا به ایجنتها منتشر کرد.

سیگنال مهندسی این است که مهار زمان اجرا اکنون یک سطح محصول عرضهشده است، نه یک الگوی پژوهشی. برای تیمهایی که ایجنت و ازدحامهای چند-ایجنت میسازند، این موضوع پرسش طراحی را از اینکه آیا مدل خود را محدود خواهد کرد، به اینجا منتقل میکند که نقاط اعمال در پشته خودشان کجا قرار میگیرند: رهگیری فراخوانی ابزار، کنترل خروجی، ارزیابی سیاست در لایه ارکستراسیون، و ردپاهای حسابرسی که از شکست جزئی جان سالم به در میبرند. یک لایه مهار ارائهشده توسط فروشنده، نیاز به مرزهای داخلی را از بین نمیبرد، بهویژه جایی که ایجنتها اعتبارنامه
آنچه از پوشش ارائهشده روشن نیست: مکانیزمهای خاص مهار، فریمورکهای ایجنت پشتیبانیشده، و اینکه مهار میلیثانیهای چگونه اندازهگیری میشود. تیمهایی که OpenShell را ارزیابی میکنند باید این موارد را پرسشهای باز در نظر بگیرند و رفتار اعمال را در برابر مدل تهدید خودشان آزمایش کنند، پیش از آنکه به آن تکیه کنند.
