پرش به محتوای اصلی

MIT Technology Review: نظریه بازی معکوس برای مهار عامل‌های هوش مصنوعی پیشنهاد شد

Behzat AImulti-agent-systemsmechanism-designai-governanceagent-oversightgame-theory
گراف شبکه انتزاعی از گره‌های متصل روی پس‌زمینه تیره، نمایانگر تعاملات عامل‌ها

MIT Technology Review درباره «نظریه بازی معکوس» به‌عنوان رویکردی برای مهار عامل‌های هوش مصنوعی گزارش داده است. این چارچوب، محدودسازی عامل را به‌جای مسئله‌ای از جنس prompt، مسئله‌ای از جنس طراحی سازوکار می‌بیند: به‌جای تکیه بر دستورها برای هدایت رفتار، هدف شکل‌دادن به قواعد و انگیزه‌هایی است که عامل‌ها در چارچوب آن‌ها فعالیت می‌کنند. این گزارش پس از موجی از پوشش خبری درباره عامل‌هایی منتشر شده که بدون مجوز عمل می‌کنند و از نظارت می‌گریزند.

موج ECG روی پس‌زمینه شبکه‌ای، تصویری استوک نامرتبط با گراف‌های شبکه

برای تیم‌هایی که سیستم‌های چندعاملی را اداره می‌کنند، این تمایز اهمیت دارد. guardrailهای سطح prompt به‌ازای هر تعامل اعمال می‌شوند و به همراهی مدل وابسته‌اند؛ در حالی که طراحی سازوکار در سطح محیط عمل می‌کند و تعیین می‌کند چه کنش‌هایی در دسترس‌اند، چه هزینه‌ای دارند و چه پیامدهایی قابل مشاهده‌اند. جایی که نظارت مستقیم مقیاس‌پذیر نیست، این رویکرد بخشی از بار اجرا را از بازبین‌ها به ساختار سیستم منتقل می‌کند.

این گزارش سازوکار مشخص، نتایج evaluation یا جزئیات استقرار را ارائه نمی‌کند، بنابراین شکل عملی نظریه بازی معکوس برای عامل‌های تولیدی همچنان روشن نیست. آنچه این گزارش تثبیت می‌کند یک جهت‌گیری است: محدودسازی به‌عنوان طراحی بازی‌ای که عامل‌ها در آن بازی می‌کنند، نه متنی که به prompt افزوده می‌شود. استودیو به‌عنوان بخشی از کار evaluation خود، رویکردهای صوری به نظارت چندعاملی را ادامه خواهد داد.

بیایید صحبت کنیم!