پرش به محتوای اصلی

احضار OpenAI توسط دادستان کل کالیفرنیا در پی عامل‌های هوش مصنوعی سرکش

Behzat AIai-governanceagent-safetyرصدپذیریregulatoryaudit-trails
نمای نزدیک از قفسه سرور مرکز داده با کابل‌کشی و چراغ‌های وضعیت.

دادستان کل کالیفرنیا احضاریه‌ای به OpenAI در خصوص عامل‌های هوش مصنوعی سرکش صادر کرده است. این اقدام پس از مجموعه‌ای از حوادث گزارش‌شده عامل‌ها در سیستم‌های عمومی و خصوصی صورت می‌گیرد و رفتار عامل را از یک مسئله ایمنی داخلی به یک مسئله اجرایی و انتظامی تغییر می‌دهد. پوشش ارائه‌شده دامنه احضاریه، حوادث استنادشده یا هرگونه پاسخ از سوی OpenAI را مشخص نمی‌کند، بنابراین این نکات مبهم باقی می‌مانند.

قفسه‌های سرور روشن در یک مرکز داده، نمایش زیرساخت فناوری مدرن

برای تیم‌هایی که سیستم‌های عامل را عرضه می‌کنند، پیامد عملی این موضوع ادله‌ای است. وقتی یک نهاد نظارتی می‌تواند کشف ادله را الزامی کند، رفتار عامل باید پس از وقوع قابل بازسازی باشد: کدام نسخه مدل اجرا شده، کدام ابزارها فراخوانی شده‌اند، چه ورودی‌ها و خروجی‌هایی میان آن‌ها رد و بدل شده، و کدام تصمیم سیاست یا guardrail اجازه پیش رفتن یک مرحله را داده است. لاگ‌هایی که فقط در داشبورد یک فروشنده وجود دارند، یا ردهایی که نمونه‌برداری شده‌اند یا با پنجره نگهداری کوتاه چرخش می‌کنند، پاسخ‌های ضعیفی به یک احضاریه هستند.

Behzat AI ثبت قابل انتساب و ردهای تصمیم را بخشی از طراحی عامل می‌داند، نه یک افزوده پس‌اندیشانه که پیش از عرضه به آن پیچ شده باشد. این یعنی سوابق هر مرحله متصل به یک شناسه اجرا، ثبت صریح فراخوانی ابزارها و نتایج آن‌ها، و کنترل‌های نگهداری و دسترسی که با واحدهای حقوقی و انطباق مشتری توافق شده‌اند. جایی که یک عامل با اختیار تفویض‌شده عمل می‌کند، رد باید مرز اختیاری را که در آن لحظه اعمال شده نشان دهد. موضع استودیو این است که کار evaluation و observability باید همراه با خود عامل محدوده‌بندی شود، تا ادله پیش از آنکه کسی درخواستش کند وجود داشته باشد.

بیایید صحبت کنیم!