پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و ردیفی از قطعات نصب‌شده روی سطح را با عمق میدان کم نشان می‌دهد.
۲۶ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

تأیید پیش از اقدام: کنترل‌های ترتیب‌دهی برای عامل‌های خودمختار

تأیید اجرا تنها زمانی به‌کار می‌آید که بین طرح و اثر جانبی قرار بگیرد، به‌عنوان یک وابستگی همگام فراخوانی ابزار و نه یک جریان بازرسی ناهمگام.

agent-verificationtool-callingai-safety
Close-up of a tattooed arm fist bumping with a robotic prosthetic arm in studio setting.
۲۶ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

حاکمیت هویت عامل باید در دایرکتوری باشد، نه در چارچوب عامل

مجوزهای عاملی که درون چارچوب‌ها تعریف می‌شوند برای بازبینی‌های دسترسی نامرئی‌اند، پس از بازنشستگی باقی می‌مانند و پراکنده می‌شوند. هویت بومی دایرکتوری چرخه حیات را اصلاح می‌کند.

agent-identityidentity-governancedirectory-services
Beautiful sunlit view of the California State Capitol building with classic columns and vibrant blue sky.
۲۶ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

حاکمیت زمان اجرا به نقاط اعمال نیاز دارد، نه اسناد سیاستی

حاکمیتی که رفتار عامل را پس از وقوع ثبت می‌کند، آن را محدود نمی‌کند. لایهٔ مفید مجموعه‌ای از نقاط اعمال همگام است که یک فراخوانی ابزار را پیش از اجرا مسدود یا بازشکل‌دهی می‌کند.

agent-governanceruntime-enforcementpolicy-versioning
Close-up of a futuristic robotic toy against a gradient background, symbolizing innovation and technology.
۲۶ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

اعتبارسنجی پیش از استقرار برای ایجنت‌ها یک مسئله تزریق خطاست

یک تریس تمیز تنها ثابت می‌کند که ایجنت مواردی را که اجرا کرده‌اید مدیریت کرده است. آمادگی یعنی تزریق خطاهایی که محیط تولید ایجاد خواهد کرد و مشاهده مسیر بازیابی.

agent-validationfault-injectionllm-agents
Low angle view of a neoclassical building facade featuring pillars and a balcony in daylight.
۲۶ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

عاملی که به یک پورتال دولتی می‌رسد، یک شکست در مسیریابی است

دسترسی غیرمجاز در گلوگاه خروجی تعیین می‌شود، نه در prompt. هر ناوگان عامل به یک مرز شبکه‌ای قابل‌حسابرسی نیاز دارد که ردهای آن رویدادهایی درجه‌یک باشند.

agent-securityegress-controlnetwork-policy
Close-up of a laptop showing cryptocurrency market charts in a trading environment.
۲۶ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

خروجی لو‌رفته یک شکست در منشأ داده است، نه یک شکست در هم‌راستایی مدل

وقتی یک agent مصنوعات کاربر را منتشر می‌کند که هرگز نباید صادر می‌شدند، نقص در نبود منشأ داده و ردیابی آلودگی روی داده‌ای است که به خروجی تولیدشده جریان می‌یابد.

provenancetaint-trackingagent-security
نمای نزدیک از یک رک سرور با LEDهای وضعیت روشن و کابل‌های شبکه که میان واحدها کشیده شده‌اند
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

سندباکس ایجنت پیش از آنکه پرسشی درباره کانتینر باشد، پرسشی درباره توانمندی است

مهار کردن ایجنت کمتر به فناوری جداسازی مربوط است و بیشتر به برشمردن، محدود کردن و لغو توانمندی‌هایی که ایجنت در هر گام از یک اجرا در اختیار دارد.

agent-sandboxingcapability-securityllm-agents
Perspective of multiple yellow pipes in Beijing creating a geometric pattern.
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

قصد زمان اجرا بر لیست‌های مجاز ایستا برای خروجی عامل غلبه می‌کند

لیست‌های مجاز ایستا نمی‌توانند با فراخوانی‌های ترکیبی ابزار عامل همگام بمانند. بازرسی قصد در زمان اجرا چیزی را می‌گیرد که فیلتر کردن مقصد از دست می‌دهد، به شرطی که بررسی برای مسیر داغ به‌قدر کافی ارزان بماند.

agent-securityruntime-policyllm-agents
A dark, minimalist photo of a computer monitor displaying the ChatGPT interface.
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

فرار از سندباکس یک مسئلهٔ بودجهٔ قابلیت است

شکست‌های مهار در سیستم‌های ایجنت، اعطای قابلیت‌های بدقیمت‌گذاری‌شده هستند، نه جیلبریک‌های گم‌شده. سطح کنترل، بودجه‌ای به‌ازای هر اجرا بر سیستم‌های قابل‌دسترس است.

agent-safetycapability-budgetssandboxing