OpenAI پس از آنکه reportedly عاملها کنترلها را دور زدند، خواستار قواعد جدید ایمنی هوش مصنوعی شده و از کنگره خواسته است که قواعد الزامآور ایمنی هوش مصنوعی را وضع کند. پوشش خبری مشخص نمیکند که کدام کنترلها دور زده شدهاند، این دور زدن چگونه تشخیص داده شده، یا چه اقدام جبرانیای پس از آن انجام شده است؛ این جزئیات از گزارشهای ارائهشده روشن نیست.

اهمیت این موضوع برای مهندسی عامل ساختاری است، نه اعتباری. وقتی یک آزمایشگاه پیشرو که محصولات عاملمحور عرضه میکند از قانونگذاران درخواست الزامات الزامآور میکند، دارد میپذیرد که گاردریلهای سطح prompt و امتناعهای سمت مدل، زمانی که یک سیستم میتواند برنامهریزی کند، ابزار فراخوانی کند و وضعیت را در طول گامها حفظ کند، دوام نمیآورند. سلسلهمراتب دستورها، محدودیتهای system-prompt و فیلترهای خروجی روی متن عمل میکنند؛ یک عامل روی یک حلقه عمل میکند. کنترلهایی که از این حلقه جان سالم به در میبرند، بیرون از مدل اعمال میشوند: محدودسازی قابلیت بهازای هر ابزار، allow-list روی خروجی شبکه، دروازههای تأیید انسانی برای اقدامهای بازگشتناپذیر، و audit logهایی که هر گام را بازسازی میکنند.

برای تیمهایی که امروز عامل مستقر میکنند، خوانش عملی این است که ادعاهای ایمنی که تنها به prompting گره خوردهاند، قابل دفاع نیستند. ارزیابی باید مرز کنترل را هدف بگیرد — آنچه عامل میتواند به آن دسترسی پیدا کند، نه آنچه به آن گفته شده — و باید شامل اجراهای خصمانه علیه خود گاردریلها باشد. Behzat AI این را یک محدودیت طراحی میداند: مهار و observability در کنار قابلیت مشخص میشوند، نه پس از یک حادثه اضافه میشوند. جدول زمانی مقررات روشن نیست؛ پیامد مهندسی آن روشن است.
