پرش به محتوای اصلی

امضای توافق‌نامه پژوهش ایمنی هوش مصنوعی میان OpenAI و NASK پس از پایلوت روتر

Behzat AIai-safetyagent-securityprocurementauditsrouter-security
نمای نزدیک از یک روتر شبکه با LEDهای وضعیت و پورت‌های اترنت که کابل‌ها به آن‌ها متصل است

OpenAI و مؤسسه NASK لهستان توافق‌نامه همکاری در پژوهش ایمنی و امنیت هوش مصنوعی امضا کرده‌اند. بر اساس گزارش‌ها، پایلوت ماه ژوئیه پیش از امضای این توافق‌نامه شش نقص روتر را آشکار کرد و این توافق فراتر از دسترسی به مدل، شامل کار پژوهشی مشترک می‌شود. این ترتیب پس از یک ممیزی سه‌هفته‌ای حضوری از OpenAI صورت می‌گیرد که شکاف‌هایی در پایش ایمنی را گزارش کرده بود.

نمای نزدیک از کابل‌های اترنت متصل به یک سوئیچ شبکه، عکس آرشیوی

یافته‌های مربوط به روتر بخش عملیاتی و قابل‌توجه ماجراست. روترها در مرز میان یک مدل و ابزارها، سرویس‌ها و شبکه‌هایی قرار می‌گیرند که مدل مجاز به دسترسی به آن‌هاست؛ همین آن‌ها را به سطحی رو‌به‌agent تبدیل می‌کند، نه مسئله‌ای درباره کیفیت مدل. ممیزی این سطح یعنی برشمردن endpointهای در معرض، بررسی نحوه احراز هویت و محدودسازی درخواست‌ها، و آزمودن آنچه یک agent هنگام واگرایی دستورالعمل‌ها و پیکربندی می‌تواند به آن دست یابد. شش نقص یافت‌شده در یک پایلوت، یک قلم کار مشخص و قابل‌مدیریت است — همان نوع یافته‌ای که از برشمردن سطح حاصل می‌شود، نه از red-teaming روی promptها.

برای تیم‌هایی که سیستم‌های agent را تأمین یا مستقر می‌کنند، همکاری ثالث در حوزه ایمنی از یک مزیت اختیاری به یک الزام ارزیابی و تأمین تبدیل می‌شود. خریداران بیش از پیش می‌پرسند چه کسی مرز را ممیزی کرده، چه چیزی در دامنه بوده، و آیا یافته‌ها پیش از استقرار رفع شده‌اند یا نه. توافق NASK بر اساس گزارش‌های موجود، دامنه، زمان‌بندی یا خروجی‌های منتشرشده را مشخص نمی‌کند؛ این جزئیات همچنان نامشخص است. آنچه روشن است جهت حرکت است: ممیزی‌های مستقل از زیرساخت رو‌به‌agent به بخشی از نحوه ارزیابی سیستم‌ها تبدیل می‌شوند، نه امری فرعی پس از بنچمارک مدل.

بیایید صحبت کنیم!