یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
ایجنت‌هایی که اطاعت می‌کنند و باز هم آسیب می‌زنند: گزارش فیلادلفیا به‌عنوان یک خطای مشخصات
پرونده گزارش نادرست فیلادلفیا داستان توهم نیست. یک خطای مشخصات است: ایجنتی اقدامی پرپیامد را اجرا کرد که پیش‌شرط‌هایش هرگز اعلام نشده بود.
حاکمیت زمان اجرا بر حاکمیت پرامپت پیروز می‌شود: خوانش بحث Sentry و کلید قطع اضطراری Nvidia
کنترل‌های سطح پرامپت توصیه‌ای هستند، چون درون یک سیستم احتمالاتی زندگی می‌کنند. رهگیری زمان اجرا جایی می‌نشیند که کنش‌ها عینی می‌شوند، و اقتدار همان‌جاست.
OpenShell فقط نشانه را درمان می‌کند: ایمنی agent به قرارداد نیاز دارد، نه کلید قطع
مهار در زمان اجرا می‌تواند یک agent خطاکار را متوقف کند، اما بدون قراردادی از پیش اعلام‌شده از اقدامات مجاز، این فقط محدودسازی خسارت است، نه پیشگیری.
مهار، سطح کنترل نیست: خوانش ناهمسو با OpenShell انویدیا
سندباکس‌ها جلوی فرار را می‌گیرند؛ اما تعیین نمی‌کنند که یک agent مجاز به تلاش برای چه چیزی بوده است. ایمنی agent به یک لایه اختیار بالای runtime نیاز دارد، نه یک کلید قطع سریع‌تر.
عامل‌ها به استقلال بیشتر نیاز ندارند، به سطوح ابزار محدودتر نیاز دارند
بیشتر تجاوزهای عامل از رابط ابزار شروع می‌شود، نه از مدل. محدود کردن سطحی که عامل آن را فراخوانی می‌کند، راه‌حلی با اهرم بالاتر از پیچیدن آن در گاردریل‌هاست.
رد کردن یک تصمیم مسیریابی است، نه یک ویژگی مدل
تجاوز عامل معمولاً ناشی از نبود یک تصمیم مجوزدهی در بالادست مدل است. ایمنی باید در مسیر درخواست باشد، نه فقط در آموزش هم‌راستایی.
فرار از سندباکس یک مسئلهٔ بودجهٔ قابلیت است
شکست‌های مهار در سیستم‌های ایجنت، اعطای قابلیت‌های بدقیمت‌گذاری‌شده هستند، نه جیلبریک‌های گم‌شده. سطح کنترل، بودجه‌ای به‌ازای هر اجرا بر سیستم‌های قابل‌دسترس است.
قراردادهای سندباکس: آنچه یک عامل باید پیش از دست‌زدن به یک اندپوینت تولیدی اثبات کند
مهار عامل یک قرارداد مجوزها و راستی‌آزمایی است، نه یک پرامپت گاردریل. هر مرز ابزار به یک پیش‌شرط نیاز دارد که عامل نتواند در زمان اجرا بر سر آن چانه بزند.
عامل‌های کدنویسی به یک قرارداد سندباکس نیاز دارند، نه یک برچسب هشدار
شعاع انفجار یک عامل کدنویسی خودمختار با قواعد سندباکس و خروجی شبکه‌اش تعریف می‌شود. این قرارداد را پیش از مشخص‌کردن عامل تعیین کنید.