پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

نمای هوایی از قطارهای باری و ریل‌ها در یک ایستگاه راه‌آهن
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

حاکمیت زمان اجرا بر حاکمیت پرامپت پیروز می‌شود: خوانش بحث Sentry و کلید قطع اضطراری Nvidia

کنترل‌های سطح پرامپت توصیه‌ای هستند، چون درون یک سیستم احتمالاتی زندگی می‌کنند. رهگیری زمان اجرا جایی می‌نشیند که کنش‌ها عینی می‌شوند، و اقتدار همان‌جاست.

runtime-governanceagent-safetypolicy-enforcement
A close-up view of a neoclassical building facade featuring detailed arches and columns.
۰۸ اکتبر ۲۰۲۶·5 دقیقه مطالعه

مهار مبتنی بر سیاست: یک مجری سطح سیستم‌عامل چه چیزی را می‌تواند و چه چیزی را نمی‌تواند تصمیم بگیرد

مهار در سطح میزبان مرزهای منابع و فایل‌سیستم را اعمال می‌کند اما نمی‌تواند قضاوت کند که آیا یک اقدام agent مجاز بوده است. لایه‌های اجرا و مجوزدهی را از هم جدا کنید.

agent-containmentauthorizationos-security
Elegant neoclassical facade of Dublin's Four Courts with iconic white columns.
۰۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه

مدل‌های تصمیم موتور سیاست نیستند: یک روتر ۲B چه چیزی را می‌تواند و چه چیزی را نمی‌تواند اعمال کند

مدل‌های تصمیم ارزان مانند Strands Decider و Clef ابتدایی‌های مسیریابی هستند، نه سطوح کنترل. برخورد با یک طبقه‌بند سریع به‌عنوان نقطه اعمال، حالت خرابی را جابه‌جا می‌کند نه اینکه آن را حذف کند.

agent-routingpolicy-enforcementllm-systems
Cybersecurity professionals working on computer systems, focusing on data protection in a dimly lit room.
۲۸ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

قصد، سیگنال گمشده در تلمتری امنیت ایجنت است

پشته‌های امنیتی آنچه ایجنت‌ها انجام می‌دهند را ثبت می‌کنند، نه آنچه قصد دارند. تبدیل قصد اعلام‌شده به یک مصنوع امضاشده و قابل‌کوئری این شکاف را می‌بندد.

agent-securityرصدپذیریintent-tracking
نمای نزدیک از یک رک سرور با LEDهای وضعیت روشن و کابل‌های شبکه که میان واحدها کشیده شده‌اند
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

سندباکس ایجنت پیش از آنکه پرسشی درباره کانتینر باشد، پرسشی درباره توانمندی است

مهار کردن ایجنت کمتر به فناوری جداسازی مربوط است و بیشتر به برشمردن، محدود کردن و لغو توانمندی‌هایی که ایجنت در هر گام از یک اجرا در اختیار دارد.

agent-sandboxingcapability-securityllm-agents
Two travelers stand beside large columns in Chicago, capturing the essence of urban exploration and architectural beauty.
۲۵ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

لاگ‌های قصد: مصنوع گم‌شده میان یک سیاست و یک اجرای عامل

فهرست‌های مجاز نشان می‌دهند یک عامل چه کاری می‌تواند انجام دهد، نه اینکه آیا یک گام موجه بوده است. لاگ‌های قصد، بافت تصمیم هر گام را در زمان اجرا ثبت می‌کنند.

agent-observabilityintent-logsruntime-security
A dark, minimalist photo of a computer monitor displaying the ChatGPT interface.
۲۵ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

فرار از سندباکس یک مسئلهٔ بودجهٔ قابلیت است

شکست‌های مهار در سیستم‌های ایجنت، اعطای قابلیت‌های بدقیمت‌گذاری‌شده هستند، نه جیلبریک‌های گم‌شده. سطح کنترل، بودجه‌ای به‌ازای هر اجرا بر سیستم‌های قابل‌دسترس است.

agent-safetycapability-budgetssandboxing
A close-up view of a futuristic bionic prosthetic arm in neon lighting.
۲۳ سپتامبر ۲۰۲۶·5 دقیقه مطالعه

هویت بدون قصد: چرا اعتباردهی به ایجنت‌ها آن‌ها را محدود نمی‌کند

احراز هویت یک ایجنت و محدودسازی دامنه توکن آن، آنچه را که در طول زنجیره‌ای از فراخوانی‌های ابزار انجام می‌دهد محدود نمی‌کند. سیاست در سطح قصد، که به ازای هر مسیر ارزیابی می‌شود، همان کنترلی است که شکاف ترکیب را می‌بندد.

agent-securityidentitypolicy-enforcement
نمای نزدیک از مدارها و اتصال‌های هارد دیسک، یک عکس استوک
۲۰ سپتامبر ۲۰۲۶·7 دقیقه مطالعه

کنترل اثبات‌پذیر: انتقال حاکمیت از داشبوردها به ناورداهای اجراشده

رصدپذیری ثبت می‌کند که یک agent چه کرد. حاکمیت نیازمند قیدهایی است که برخی کنش‌ها را صرف‌نظر از تصمیم مدل ناممکن می‌کند.

agent-governancepolicy-enforcementtool-boundaries