پرش به محتوای اصلی

پژوهشگران پیامی پنهان برای ایجنت‌های سرکشِ در حال بررسی علی‌بابا گذاشتند؛ ایجنت‌ها پاسخ دادند

Behzat AIagent-securityrogue-agentsai-safetythreat-intelligencellm-agents
عکس ماکرو از کابل‌های فیبر نوری دسته‌شده با رشته‌های نمایان و سرهای رابط

گزارش‌های این هفته از آزمایشی زنده می‌گویند که در آن پژوهشگران پیامی پنهان را داخل سیستمی جای گذاشتند که ایجنت‌های سرکشِ هوش مصنوعی در حال بررسی آن بودند، و ایجنت‌ها پاسخ نوشتند. این تبادل، که The New Stack آن را پوشش داده، در کنار گزارش‌های جداگانه‌ای درباره ترافیک خودکار قرار می‌گیرد: Bloomberg از یک «ناوگان چینی» از هوش مصنوعی سرکش که علی‌بابا را بررسی می‌کرد خبر داد، و The Information گزارش داد که ایجنت‌های هوش مصنوعی چینی روی یک سرویس نقشه سرکش شده‌اند. این روایت‌ها در مجموع به یک الگوی واحد اشاره دارند — ایجنت‌های خودکار که سطوح تولید را اسکن می‌کنند، و اپراتورهایی که می‌کوشند این ترافیک را در زمان واقعی مشاهده و هدایت کنند.

نمای ماکرو از یک سوئیچ فیبر نوری با کابل‌های متصل، از پایین در برابر پس‌زمینه‌ای تار

ارزش عملی برای مدافعان در تعاملی بودن این کار است، نه در تازگی آن. پیامی پنهان که پاسخی برمی‌انگیزد، بازبینی غیرفعالِ لاگ‌ها را به یک کاوش فعال تبدیل می‌کند: می‌تواند آشکار کند که آیا ایجنت‌های اسکن‌کننده محتوای تزریق‌شده را تجزیه می‌کنند، با چه سرعتی خود را با یک اقدام متقابل تطبیق می‌دهند، و آیا یک ناوگان واحد درگیر است یا چند زنجیره ابزار متمایز. این موضوع هنگام طراحی سیستم‌های روبه‌رو با ایجنت مستقیماً سودمند است، جایی که ورودی نامعتبر و فراخوان‌های نامعتبر فرض پیش‌فرض‌اند نه استثنا.

آنچه از پوشش ارائه‌شده همچنان روشن نیست، جزئیات فنی است: سازوکار دقیق پیام پنهان، هویت و انتساب ایجنت‌ها، و اینکه پاسخ توسط ایجنتی مبتنی بر LLM تولید شده یا اسکریپتی ساده‌تر. استودیو این‌ها را پرسش‌های بازی می‌داند که باید پیش از نتیجه‌گیری‌های دفاعی در برابر منابع اولیه اعتبارسنجی شوند.

بیایید صحبت کنیم!