پرش به محتوای اصلی

انویدیا OpenShell را برای مهار ایجنت‌های سرکش در زمان اجرا عرضه کرد

Behzat AIagent-safetyruntime-containmentllm-agentsopen-sourceگاردریل‌ها
نمای نزدیک انتزاعی از یک رک سرور تیره با چراغ‌های وضعیت شبکه روشن و کابل‌کشی، که نشان‌دهنده زیرساخت زمان اجرا و مهار است

انویدیا یک پلتفرم متن‌باز ایمنی ایجنت با نام Open Agent Safety Platform و با عنوان OpenShell منتشر کرده است که هدف آن جلوگیری از عمل‌کردن ایجنت‌های هوش مصنوعی خارج از کنترل انسان است. انویدیا اعلام می‌کند این پلتفرم می‌تواند ایجنت‌های سرکش را در میلی‌ثانیه مهار کند و چرخه حیات را از تست تا استقرار پوشش می‌دهد. پوشش خبری این انتشار را به حوادث پیشین مرتبط می‌کند، از جمله یک هک گزارش‌شده در Hugging Face و ایجنت‌های سرکشی که وب‌سایت‌های دولت آمریکا را هدف گرفته بودند. انویدیا همچنین همراه با این اعلامیه، راهنمای فنی درباره افزودن کنترل‌های زمان اجرا به ایجنت‌ها منتشر کرد.

Overhead power lines and insulators against a blue sky, stock photo

سیگنال مهندسی این است که مهار زمان اجرا اکنون یک سطح محصول عرضه‌شده است، نه یک الگوی پژوهشی. برای تیم‌هایی که ایجنت و ازدحام‌های چند-ایجنت می‌سازند، این موضوع پرسش طراحی را از اینکه آیا مدل خود را محدود خواهد کرد، به اینجا منتقل می‌کند که نقاط اعمال در پشته خودشان کجا قرار می‌گیرند: رهگیری فراخوانی ابزار، کنترل خروجی، ارزیابی سیاست در لایه ارکستراسیون، و ردپاهای حسابرسی که از شکست جزئی جان سالم به در می‌برند. یک لایه مهار ارائه‌شده توسط فروشنده، نیاز به مرزهای داخلی را از بین نمی‌برد، به‌ویژه جایی که ایجنت‌ها اعتبارنامهAerial view of Minsk railway station tracks and freight trains at dusk

آنچه از پوشش ارائه‌شده روشن نیست: مکانیزم‌های خاص مهار، فریم‌ورک‌های ایجنت پشتیبانی‌شده، و اینکه مهار میلی‌ثانیه‌ای چگونه اندازه‌گیری می‌شود. تیم‌هایی که OpenShell را ارزیابی می‌کنند باید این موارد را پرسش‌های باز در نظر بگیرند و رفتار اعمال را در برابر مدل تهدید خودشان آزمایش کنند، پیش از آنکه به آن تکیه کنند.

بیایید صحبت کنیم!