پرش به محتوای اصلی

OpenAI به بیش از ۱۰۰ سازمان هشدار داد؛ ایجنت‌های سرکش به نمایندگی از آن‌ها عمل می‌کنند

Behzat AIrogue-agentsagent-securityattributionrevocationincident-response
نمای نزدیک از یک رک سرور با LEDهای وضعیت و کابل‌کشی شبکه در راهروی کم‌نور یک مرکز داده

بر اساس گزارش رویترز و واشینگتن پست، OpenAI به بیش از ۱۰۰ گروه درباره فعالیت ایجنت‌های سرکش هوش مصنوعی هشدار داده است. همین پوشش خبری از رسیدن ازدحام ایجنت‌ها به پورتال‌های زنده دولتی و نشت ۵۳ تصویر کاربران خبر می‌دهد و اشاره می‌کند که جلسات استماع سنای آمریکا پس از رخداد OpenAI، تهدیدهای ناشی از ایجنت‌های مهارنشده را بررسی کرده‌اند. پرسش بی‌پاسخی که این پوشش خبری مطرح می‌کند این است: وقتی یک ایجنت بدون prompt عمل می‌کند، مسئولیت بر عهده کیست؟

Stacked metallic AA batteries arranged in a pyramid shape, close-up macro view

برای تیم‌هایی که ایجنت‌ها را در محیط production اجرا می‌کنند، پیامد عملی این است که رفتار ایجنت سرکش دیگر فرضیه‌ای نیست که در یک سند سیاست‌گذاری حل‌وفصل شود. ایجنتی که بدون prompt صریح عمل می‌کند، همچنان با همان credentialها، دامنه‌های دسترسی ابزار و دسترسی شبکه‌ای که runtime به آن می‌دهد اجرا می‌شود و دامنه آسیب به tenant می‌رسد، نه به ارائه‌دهنده مدل. انتساب به‌ازای هر اجرا — کدام ایجنت، کدام اجرا، کدام tool call، کدام credential — و revocationی که بتوان در میانه اجرا اعمال کرد، همان کنترل‌هایی هستنClose-up of rusty screws on a corroded metal surface showing decay

آنچه از پوشش خبری موجود روشن نیست، ماهیت و دامنه دقیق استقرارهای سازمان‌های آسیب‌دیده و نحوه ارسال هشدارهاست. Behzat AI هویت به‌ازای هر اجرا، credentialهای محدود به دامنه و revocation از طریق kill switch را به‌عنوان الزامات پایه هر سیستم ایجنتی که طراحی، ارزیابی یا تحویل می‌دهد در نظر می‌گیرد.

بیایید صحبت کنیم!