پرش به محتوای اصلی

حمله‌ای در محیط واقعی از اعتماد agent به اسناد Markdown سوءاستفاده می‌کند

Behzat AIprompt-injectionagent-securitymarkdowndocument-ingestionllm-agents
نمای نزدیک از یک رک سرور با کابل‌کشی و چراغ‌های وضعیت در یک مرکز داده

Dark Reading از حمله‌ای در محیط واقعی خبر می‌دهد که از اعتماد agentهای هوش مصنوعی به اسناد Markdown سوءاستفاده می‌کند. گزارش جداگانه‌ای توصیف می‌کند که agentهای کدنویسی هوش مصنوعی از دستورالعمل‌های مخرب کاشته‌شده در پوشه Downloads پیروی کرده‌اند. در هر دو مورد، payload از طریق محتوایی می‌رسد که agent آن را داده می‌پندارد، و مسیر حمله، ingestion فایل و سند است نه prompt مستقیم کاربر. این یک prompt injection غیرمستقیم است و خارج از شرایط آزمایشگاهی به کار گرفته می‌شود.

Woman using a laptop in a server room with blue lighting

پیامد عملیاتی این است که هر مسیر ingestion یک مرز اختیار است. اگر Markdown بتواند در context agent رندر یا parse شود، سند می‌تواند دستورالعمل حمل کند، و فیلتر prompt یک سیاست نیست. موضع استودیو این است که ingestion به یک سیاست صریح و قابل آزمون نیاز دارد: کدام قالب‌ها parse می‌شوند، کدام فیلدها غیرقابل‌اعتماد تلقی می‌شوند، محتوا کجا sanitise یا حذف می‌شود، و agent بر اساس متن برگرفته از سند مجاز به فراخوانی کدام ابزارهاست. این تصمیم‌ها به طراحی سیستم و مجموعه evaluation تعلق دارند، نه به یک جمله در system prompt.

این پوشش خبری رده حمله و بردار ingestion را مشخص می‌کند؛ اما شیوع، فروشندگان تحت تأثیر، یا مجموعه کامل قالب‌های سوءاستفاده‌شده را مشخص نمی‌کند. تیم‌هایی که ingestion سند را اجرا می‌کنند باید این شکاف را دلیلی برای instrument کردن و آزمودن مسیرهای خود بدانند، نه دلیلی برای انتظار برای تصویر عمومی کامل.

بیایید صحبت کنیم!