پرش به محتوای اصلی

CACM استدلال می‌کند که محدودسازی، ابتدایی نادرست برای کنترل agent است

Behzat AIagent-controlai-safetymulti-agentprotocol-designcontainment
عکس ماکرو از یک برد مدار که مسیرهای متراکم، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با عمق میدان کم نشان می‌دهد

Communications of the ACM استدلالی منتشر کرده است که محدودسازی، ابتدایی نادرست برای AI agentهاست. برای تیم‌هایی که مهار را حول sandboxها، allowlistها و بسترهای اجرای ایزوله ساخته‌اند، این ادعا ساختاری است نه تدریجی: این پرسش را مطرح می‌کند که آیا ایزوله‌سازی اصلاً انتزاع درستی است، نه اینکه آیا یک sandbox مشخص به‌قدر کافی محکم پیکربندی شده است. همین رسانه، کار روی agent در قابلیت اطمینان سرویس را کم‌کاوش‌شده می‌داند، که طراحی کنترل را در مرحله‌ای ابتدایی قرار می‌دهد که مدل زیربنایی آن هنوز باز است.

Abstract golden texture resembling flowing liquid metal art

دو مورد دیگر در پوشش ارائه‌شده به همین جهت اشاره دارند. The Times of Israel راهنمای ریسک برای agentها با مدل دفاع لایه‌ای پنیر سوئیسی منتشر کرده است، که در آن هیچ کنترل واحدی کافی تلقی نمی‌شود. یک مطلب جداگانه در CACM استدلال می‌کند که تبانی agent با agent یک نقص پروتکل است نه نقص prompt، و حالت شClose-up of black laptop keyboard keys with soft lighting and selective focus

آنچه از این پوشش نامشخص می‌ماند این است که چه مدل اجرایی باید جایگزین محدودسازی شود، و دفاع لایه‌ای چگونه بر تضمین‌های سطح پروتکل نگاشت می‌یابد. پیامد عملی برای تیم‌هایی که خودمختاری را مقیاس می‌دهند این است که ممکن است مرزهای مهار نیاز باشد به‌عنوان یک لایه در میان چندین لایه ارزیابی شوند، نه به‌عنوان کنترل اصلی.

بیایید صحبت کنیم!