پرش به محتوای اصلی

مایکروسافت عامل‌های هوش مصنوعی را تهدید داخلی می‌داند و ابزارهای پایش عرضه می‌کند

Behzat AIagent-securityinsider-threatllm-agentsرصدپذیریleast-privilege
نمای نزدیک از یک رک سرور با تجهیزات شبکه انباشته، کابل‌کشی و چراغ‌های نشانگر.

مایکروسافت اعلام کرده است که نمی‌توان به مدل‌های frontier اعتماد کرد و عامل‌های خودمختار را نه به‌عنوان فراخوان‌های بیرونی، بلکه به‌عنوان تهدیدهای داخلی قالب‌بندی می‌کند. این شرکت ابزارهایی برای پایش و مهار عامل‌های سرکش رونمایی کرد، در کنار به‌روزرسانی‌های Microsoft Foundry که عامل‌های زمان‌بندی‌شده و استفاده هوشمندتر از ابزار را اضافه می‌کند. موضع اعلام‌شده این است که امنیت باید با سرعت عامل حرکت کند. پوشش خبری: گزارش یک، گزارش دو، گزارش سه، گزارش چهار.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش زیرساخت فناوری مدرن

این قالب‌بندی برای نحوه طراحی سیستم‌های عامل اهمیت دارد. وقتی یک عامل واگذارشده به‌عنوان principal درون مرز اعتماد تلقی شود، کنترل‌های محیطی دیگر دفاع اصلی نیستند. آنچه جای آن‌ها را می‌گیرد پایش رفتاری، اعتبارنامه‌های محدود به دامنه و دسترسی ابزار با کمترین دسترسی برای هر عامل است، به‌گونه‌ای که اجراهای زمان‌بندی‌شده و فراخوان‌های ابزار به‌عنوان اقدامات قابل حسابرسی و نه خروجی مبهم مدل تلقی شوند.

برای تیم‌هایی که سیستم‌های چندعامله عرضه می‌کنند، این با رویه‌ای هم‌راستاست که پیش‌تر در محیط production پذیرفته شده است: مرزهای صریح قابلیت، هویت مستقل برای هر عامل، ثبت فراخوان ابزار و تشخیص ناهنجاری در رفتار عامل. موضع فروشنده که امنیت باید با سرعت عامل حرکت کند، دلالت بر کنترل‌هایی دارد که اقدامات را در زمان اجرا ارزیابی می‌کنند، نه فقط در زمان استقرار.

آنچه از پوشش خبری روشن نیست، دامنه ابزارهای پایش است، اینکه آیا برای مدل‌های شخص ثالث کاربرد دارد، و اینکه تشخیص عامل سرکش چگونه ارزیابی می‌شود. Behzat AI این‌ها را پرسش‌های باز برای آزمون می‌داند، نه تضمین‌های قطعی.

بیایید صحبت کنیم!