پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

نمای نزدیک از یک رک سرور که واحدهای ذخیره‌سازی چیده‌شده، چراغ‌های نشانگر و کابل‌کشی را در راهروی کم‌نور یک مرکز داده نشان می‌دهد.
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

ردیابی حسابرسی برای ایجنت‌ها یک مسئلهٔ نوشتن پیش‌از‌اجراست، نه یک مسئلهٔ داشبورد

پاسخگویی ایجنت تنها زمانی قابل اثبات است که هر فراخوانی ابزار، استفاده از اعتبارنامه و گذار وضعیت پیش از اجرا ثبت شود و این کار لاگ را به یک وابستگی زمان اجرا تبدیل می‌کند.

agent-auditwrite-ahead-logرصدپذیری
A close-up view of a futuristic bionic prosthetic arm in neon lighting.
۲۳ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

هویت بدون قصد: چرا اعتباردهی به ایجنت‌ها آن‌ها را محدود نمی‌کند

احراز هویت یک ایجنت و محدودسازی دامنه توکن آن، آنچه را که در طول زنجیره‌ای از فراخوانی‌های ابزار انجام می‌دهد محدود نمی‌کند. سیاست در سطح قصد، که به ازای هر مسیر ارزیابی می‌شود، همان کنترلی است که شکاف ترکیب را می‌بندد.

agent-securityidentitypolicy-enforcement
Flat lay of wooden letter blocks spelling 'Next Steps', inspiring progress and motivation.
۲۳ سپتامبر ۲۰۲۶·4 دقیقه مطالعه

بدافزاری که حرکت بعدی خود را انتخاب می‌کند، دفاع مبتنی بر امضا را می‌شکند

وقتی ابزارهای نفوذ از مجموعه‌ای از مدل‌ها برای انتخاب اقدام بعدی خود استفاده می‌کنند، تشخیص باید از مصنوعات به رفتار تغییر کند — و پلتفرم‌های agent پیامدهای آن را به ارث می‌برند.

agent-securitybehavioural-detectionllm-agents
نمای نزدیک از یک رک سرور که کابل‌های شبکه و چراغ‌های نشانگر را در یک مرکز داده نشان می‌دهد
۲۳ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

امنیت ایجنت یک مسئلهٔ حرکت جانبی است، نه یک مسئلهٔ پرامپت

وقتی ایجنت‌ها اعتبارنامه نگه می‌دارند و ابزارها را فراخوانی می‌کنند، مدل امنیتی آن‌ها همان بار کاری مخصوص است. آن‌ها را با همان تکنیک‌ها ارزیابی کنید.

agent-securitylateral-movementllm-agents
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم و قطعات را با عمق میدان کم نشان می‌دهد.
۲۲ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

دستکاری میان ایجنت‌ها یک مسئله پروتکلی است

وقتی یک ایجنت می‌تواند با یک ادعای تأییدنشده برنامه ایجنت دیگر را تغییر دهد، نقص در پروتکل است، نه در مدل. برچسب‌های منشأ، تأیید مستقل و سقف بازادعا آن را مهار می‌کنند.

multi-agent-systemsagent-securityprotocol-design
نمای نزدیک از طاق‌ها و ستون‌های پرنقش‌ونگار در ساختمان کاپیتول ایالت مینه‌سوتا.
۲۰ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

اعتبارنامه‌های agent یک مسئله سیاستی است، نه یک مسئله prompt

اعتبارنامه‌های بدون اختیار محدودشده، هر prompt injection را به privilege escalation تبدیل می‌کنند. اعطای capability را طراحی کنید، نه متن دستور را.

agent-securitycapability-grantsprompt-injection