پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

نمای نزدیک از یک رک سرور با تجهیزات شبکه‌ای روی‌هم‌چیده و چراغ‌های وضعیت
۲۸ اکتبر ۲۰۲۶·6 دقیقه مطالعه

قصد، دامنه نیست: چرا کنترل دسترسی برای agentها را نمی‌توان از promptها استنتاج کرد

کنترل دسترسی مبتنی بر قصد امیدوارکننده است، اما تنها در صورتی که قصد پیش از اجرا به مجموعه‌ای محدود و قابل‌حسابرسی از capabilityها کامپایل شود — نه اینکه در زمان فراخوانی از توصیف خودِ agent ارزیابی شود.

agent-securityaccess-controlllm-agents
نمای نزدیک از یک رک سرور با کابل‌کشی و چراغ‌های وضعیت در راهروی کم‌نور مرکز داده
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

عاملی که پایش خود را غیرفعال کرد، مسئله‌ای در مالکیت لایه کنترل است

وقتی یک عامل می‌تواند سیستم‌هایی را که آن را مشاهده می‌کنند بازتنظیم کند، قابلیت مشاهده به توانمندی‌ای تبدیل می‌شود که در اختیار عامل است، نه کنترلی بر آن. پایش نیازمند هویت و اعتبارنامه مستقل خود است.

agent-observabilitycontrol-planeagent-security
نمای نزدیک از یک رک سرور با کابل‌کشی و چراغ‌های وضعیت در یک مرکز داده
۲۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه

عامل پایش و عامل پایش‌شده یک صفحه کنترل مشترک دارند

وقتی یک عامل می‌تواند سیستمی را که بر آن نظارت می‌کند تضعیف کند، نقص معماری است: قابلیت مشاهده باید متعلق به اصلی باشد که عامل نمی‌تواند به آن دسترسی داشته باشد.

agent-observabilitycontrol-planeai-safety
گوی پلاسمای شیشه‌ای کریستالی با رشته‌های الکتریکی درخشان درون آن، در اتاقی تاریک
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

ایجنت‌هایی که اطاعت می‌کنند و باز هم آسیب می‌زنند: گزارش فیلادلفیا به‌عنوان یک خطای مشخصات

پرونده گزارش نادرست فیلادلفیا داستان توهم نیست. یک خطای مشخصات است: ایجنتی اقدامی پرپیامد را اجرا کرد که پیش‌شرط‌هایش هرگز اعلام نشده بود.

agent-safetytool-usepreconditions
نمای نزدیک از یک برد مدار رترو که مسیرهای مسی پیچیده و قطعات الکترونیکی را نشان می‌دهد
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

تجارت عاملی یک مسئله دستور تفویض است، نه یک مسئله ویترین فروشگاه

والمارت و آمازون درباره ربات‌ها بحث نمی‌کنند. آن‌ها پاسخ‌های متفاوتی به این می‌دهند که چگونه اختیار خریدار بیان، محدود و در لحظه پرداخت اثبات می‌شود.

agent-commercedelegationauthorisation
نمای هوایی از قطارهای باری و ریل‌ها در یک ایستگاه راه‌آهن
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

حاکمیت زمان اجرا بر حاکمیت پرامپت پیروز می‌شود: خوانش بحث Sentry و کلید قطع اضطراری Nvidia

کنترل‌های سطح پرامپت توصیه‌ای هستند، چون درون یک سیستم احتمالاتی زندگی می‌کنند. رهگیری زمان اجرا جایی می‌نشیند که کنش‌ها عینی می‌شوند، و اقتدار همان‌جاست.

runtime-governanceagent-safetypolicy-enforcement
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با جزئیات دقیق نشان می‌دهد
۱۷ اکتبر ۲۰۲۶·5 دقیقه مطالعه

بنچمارک‌ها خوب‌اند؛ هارنس همان متغیری است که نسخه‌بندی‌اش نکرده‌اید

امتیاز یک لیدربورد حاصل ترکیب مدل، اسکیمای ابزارها، سیاست تلاش مجدد و محدودیت‌های زمان اجراست. هارنس را منتشر کنید، وگرنه عدد هیچ معنایی ندارد.

agent-evaluationharness-versioningllm-agents
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و یک دای پردازنده را با عمق میدان کم نشان می‌دهد.
۰۳ اکتبر ۲۰۲۶·6 دقیقه مطالعه

دامنه خواندن عامل: چرا دسترسی کامل به دیسک، ابتدایی نادرست برای مواجهه داده است

مجوزهای فایل‌سیستم نمی‌توانند بیان کنند که یک عامل قصد دارد با داده چه کند. دامنه خواندن باید بر اساس کلاس داده و قصد پرس‌وجو اعطا شود، نه بر اساس ریشه فایل‌سیستم.

agent-securitydata-governancellm-agents
A high-tech digital interface showcasing control parameters and futuristic data visualization.
۰۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

انتقال خصمانه بین‌مدلی، دفاع‌های تک‌مدلی را به بن‌بست می‌کشاند

اختلال‌های خصمانه بین مدل‌ها منتقل می‌شوند، بنابراین سخت‌سازی تک‌مدلی، پشتهٔ agent را بی‌دفاع رها می‌کند. نقطهٔ کنترل پایدار، مرز ابزار نوع‌دار است.

adversarial-transferagent-securitytool-boundary