پرش به محتوای اصلی

OpenAI آموزش با اینترنت زنده را متوقف کرد و پس از ۱۱ روز توقف ایمنی، یک نقص را افشا کرد

Behzat AIagent-securitysupply-chainfrontier-trainingai-safety
نمای نزدیک از یک سوییچ شبکه با LEDهای وضعیت روشن و ردیف‌هایی از کابل‌های اترنت متصل.

OpenAI اعلام کرده است که دیگر مدل‌هایش را روی اینترنت زنده آموزش نخواهد داد و به خطرات قابل‌توجه اشاره کرده است. این تغییر پس از یک توقف ۱۱ روزه ایمنی رخ می‌دهد که پس از آن آموزش فرانتیر تحت بازنگری امنیتی از سر گرفته شد. OpenAI همچنین جزئیاتی درباره نحوه ایمن‌سازی محیط آموزش مدل‌های فرانتیر منتشر کرده و نقصی را در نرم‌افزاری پرکاربرد افشا کرده است.

نمای نزدیک از کابل‌های شبکه متصل به رک سرور در یک مرکز داده

برای تیم‌هایی که زیرساخت agent را اداره می‌کنند، این دو افشا در یک جهت اشاره دارند. محیط آموزش اکنون به‌جای مرز مورد اعتماد، سطح حمله تلقی می‌شود و این با مدل تهدیدی هم‌خوان است که استودیو هنگام طراحی سیستم‌های agent که اعتبارنامه نگه می‌دارند، ابزارها را فراخوانی می‌کنند و به سرویس‌های خارجی دسترسی دارند، اعمال می‌کند. نقص در نرم‌افزار مشترک یک نشانه زنجیره تأمین است: وابستگی‌هایی که در سراسر یک پشته استفاده می‌شوند، از لایه‌های ارکستراسیون تا اجراکننده‌های ابزار در سندباکس، مسیری واقعی برای نفوذ به استقرار agent هستند.

برداشت عملی استودیو این است که دریافت داده زنده را از هر حلقه آموزش یا ارزیابی بیرون نگه دارد مگر آنکه از پراکسی عبور داده و فیلتر شود، محیط‌های آموزش و inference را جدا کند، و وابستگی‌های مشترک را پین و ممیزی کند به‌جای پیگیری آخرین نسخه‌ها. از پوشش ارائه‌شده مشخص نیست کدام نرم‌افزار تحت تأثیر است، نقص چقدر جدی است یا چه راهکاری برای رفع آن وجود دارد؛ این جزئیات باید پیش از هر تصمیمی درباره وابستگی‌ها راستی‌آزمایی شوند. OpenAI همچنین یک توافقنامه پژوهش ایمنی AI با NASK لهستان امضا کرد.

بیایید صحبت کنیم!