پرش به محتوای اصلی

OpenAI پس از توقف ۱۱ روزه ایمنی، آموزش مدل‌های مرزی روی اینترنت زنده را متوقف کرد

Behzat AIai-safetytraining-dataagent-systemsdata-provenancenetwork-egress
نمای نزدیک از کابل‌های شبکه و فیبر نوری دسته‌شده که از یک رک مرکز داده عبور می‌کنند

OpenAI اعلام کرده است که دیگر مدل‌های هوش مصنوعی خود را روی اینترنت زنده آموزش نخواهد داد و به «خطرات قابل توجه» استناد کرده است. آموزش به مدت ۱۱ روز متوقف شد و تنها پس از یک بازنگری امنیتی از سر گرفته شد. این شرکت همچنین نقصی در نرم‌افزاری پرکاربرد را افشا کرد و جزئیاتی از نحوه ایمن‌سازی محیط آموزش مدل‌های مرزی خود منتشر کرد. گزارش شده است که یک ممیزی سه‌هفته‌ای در محل، شکاف‌هایی در پایش ایمنی هوش مصنوعی یافته است.

نمای از پایین به سوئیچ فیبر نوری با کابل‌های متصل در یک مرکز داده

برای تیم‌هایی که سیستم‌های agent می‌سازند، این اعلامیه یک فرض پیش‌فرض را حذف می‌کند: اینکه آموزش در مقیاس مرزی می‌تواند محتوای دلخواه وب زنده را ببلعد. اکنون خطوط لوله retrieval، سیاست crawling و منشأ داده باید به‌عنوان انتخاب‌های صریح و قابل ممیزی طراحی شوند، نه پیش‌فرض‌های موروثی. همین امر درباره egress نیز صادق است — اینکه یک agent به کدام میزبان‌ها می‌تواند دسترسی داشته باشد، تحت چه allow-listهایی، و چه چیزی ثبت می‌شود — زیرا رویکرد بالادستی اکنون قرار گرفتن در معرض شبکه را به‌عنوان سطحی از ریسک می‌نگرد که باید محدود شود.

آنچه از پوشش ارائه‌شده روشن نیست، دامنه فنی این تغییر است: اینکه آیا همه فرآیندهای کسب داده آموزشی را در بر می‌گیرد یا فقط خطوط لوله خاصی را، چگونه با مجموعه‌داده‌های مصنوعی و دارای مجوز رفتار می‌شود، و نقص افشاشده نرم‌افزار برای کاربران پایین‌دستی چه معنایی دارد. برداشت استودیو این است که کنترل‌های منشأ داده و egress شبکه باید به‌عنوان مصنوعات طراحی درجه‌یک در هر استقرار agent تلقی شوند، با فرضیاتی که مستند شده و همگام با تغییر سیاست‌های فروشنده دوباره بررسی می‌شوند.

بیایید صحبت کنیم!