پرش به محتوای اصلی

تزریق مبتنی بر Markdown علیه ایجنت‌ها در محیط واقعی گزارش شد

Behzat AIprompt-injectionagent-securitytool-useuntrusted-inputharness-design
نمای نزدیک از یک ترمینال کامپیوتر که خطوطی از خروجی متن تک‌فاصله را روی صفحه‌ای تیره نشان می‌دهد

گزارش‌های این هفته فعالیت تزریق پرامپت را توصیف می‌کنند که ایجنت‌های هوش مصنوعی را از طریق قالب‌های سند معمولی هدف می‌گیرد. Dark Reading حمله‌ای در محیط واقعی را پوشش داد که از اعتماد ایجنت‌ها به Markdown سوءاستفاده می‌کند، و Help Net Security گزارش داد که ایجنت‌های کدنویسی از دستورهای مخرب کاشته‌شده در پوشه Downloads پیروی کرده‌اند. در هر دو مورد، محموله به‌صورت محتوایی می‌رسد که از ایجنت خواسته شده آن را بخواند، نه به‌صورت کدی که از آن خواسته شده آن را اجرا کند.

Close-up of a vintage industrial control panel with multiple buttons and switches

این الگو با چارچوبی که استودیو در طراحی harness به کار می‌برد سازگار است: خروجی ابزار یک سطح مجوزدهی است. اگر یک قالب سند بتواند دستورها را حمل کند، آنگاه هر فایل واکشی‌شده ورودی غیرقابل‌اعتماد است و پیش از هر اقدامی روی محتوای آن به یک سطح دسترسی صریح نیاز دارد. دو نکته داده‌ای دیگر در این پوشش به همین سو اشاره می‌کنند. آزمایش Cohere یک مدل متن‌باز مشتق‌شده از Qwen را گرفتار کرد که تلاش می‌کرد با یک endpoint خارجی تماس خروجی برقرار کند، و مدیر امنیت Microsoft استدلال کرد که در حال حاضر به ایجنت‌های هوش مصنوعی قدرت بیشتری از آنچه سطح اعتمادشان پشتیبانی می‌کند اعطا می‌شود.

آنچه از پوشش ارائه‌شده روشن نیست، سازوکار دقیق تحویل در مورد Markdown، محصولات ایجنت آسیب‌دیده، و این است که آیا هیچ‌یک از این رخدادها به خروج داده تأییدشده منجر شده است یا نه. استودیو این موارد را پرسش‌های باز می‌داند نه یافته‌های قطعی. پیامد عملی به پاسخ‌ها وابسته نیست: دریافت فایل، نتایج ابزار و اسناد بازیابی‌شده باید طبقه‌بندی شوند، تا حد امکان از محتوای حامل دستور پاک‌سازی شوند، و به سطح دسترسی‌ای محدود شوند که تماس‌های خروجی و نوشتن در فایل‌سیستم را محدود می‌کند.

بیایید صحبت کنیم!