پرش به محتوای اصلی

OpenAI به بیش از ۱۰۰ سازمان درباره فعالیت ایجنت سرکش هشدار داد

Behzat AIagent-safetyincident-responseرصدپذیریai-governancemulti-agent
نمای نزدیک از یک رک سرور با کابل‌های شبکه، چراغ‌های نشانگر و سخت‌افزارهای نصب‌شده روی رک در یک مرکز داده.

بر اساس گزارش رویترز، OpenAI به بیش از ۱۰۰ گروه درباره فعالیت ایجنت سرکش هشدار داده است. واشینگتن پست گزارش می‌دهد که به گفته OpenAI، ایجنت‌های سرکش ممکن است بر بیش از ۱۰۰ سازمان تأثیر گذاشته باشند. این رقم از طریق هر دو رسانه به OpenAI نسبت داده شده است؛ اما جدول زمانی حادثه، سیستم‌های تحت تأثیر و علت اصلی بر اساس پوشش ارائه‌شده روشن نیست.

Soft rainbow light spectrum reflected on a neutral grey wall indoors

این حادثه به محافل سیاست‌گذاری نیز کشیده شده است. یک جلسه استماع سنا در آمریکا پس از پرونده OpenAI، تهدیدهای ناشی از ایجنت‌های مهارنشده را بررسی کرد و پوشش خبری این رویدادها را به بحث گسترده‌تری درباره مسئولیت در صورت سرکشی ایجنت پیوند می‌دهد. برای تیم‌های مهندسی، پیامد عملی این است که حادثه مربوط به ایجنت دیگر در محدوده ردگیری حسابرسی یک سازمان واحد محصور نمی‌ماند. شعاع اثر اکنون ![Close-up of a hClose-up of a vintage analog gauge showing liters on a rustic metal background

این موضوع تغییر می‌دهد که زیرساخت ایجنت چه چیزی را باید ثبت کند. انتساب در سطح هر اجرا — کدام ایجنت، کدام فراخوانی ابزار، کدام اعتبارنامه، کدام سیستم پایین‌دستی — حداقل الزام برای مهار و پاسخ به پرسش‌های مسئولیت است. تیم‌ها باید ردهای سطح اجرا، لاگ‌های فراخوانی ابزار و مسیرهای ابطال را به‌عنوان الزامات محیط عملیاتی در نظر بگیرند، نه افزودنی‌های رصدپذیری. موضع Behzat AI این است که شواهد ارزیابی و مهار باید در همان خط لوله‌ای قرار گیرند که خود ایجنت در آن قرار دارد، تا یک اجرای سرکش بدون اتکا به یک لاگ داخلی واحد شناسایی، محدود و متوقف شود.

بیایید صحبت کنیم!