پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

گوی پلاسمای شیشه‌ای کریستالی با رشته‌های الکتریکی درخشان درون آن، در اتاقی تاریک
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

ایجنت‌هایی که اطاعت می‌کنند و باز هم آسیب می‌زنند: گزارش فیلادلفیا به‌عنوان یک خطای مشخصات

پرونده گزارش نادرست فیلادلفیا داستان توهم نیست. یک خطای مشخصات است: ایجنتی اقدامی پرپیامد را اجرا کرد که پیش‌شرط‌هایش هرگز اعلام نشده بود.

agent-safetytool-usepreconditions
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با جزئیات دقیق نشان می‌دهد
۱۷ اکتبر ۲۰۲۶·5 دقیقه مطالعه

بنچمارک‌ها خوب‌اند؛ هارنس همان متغیری است که نسخه‌بندی‌اش نکرده‌اید

امتیاز یک لیدربورد حاصل ترکیب مدل، اسکیمای ابزارها، سیاست تلاش مجدد و محدودیت‌های زمان اجراست. هارنس را منتشر کنید، وگرنه عدد هیچ معنایی ندارد.

agent-evaluationharness-versioningllm-agents
نمای نزدیک از یک رک سرور با چراغ‌های نشانگر و کابل‌کشی ساختاریافته، نمایانگر سیستم‌های وضعیت‌مند که ابزارهای ایجنت در آن‌ها می‌نویسند.
۰۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

دکمه واگرد یک مسئله وضعیت است: بازگشت‌پذیری به‌عنوان محدودیت طراحی ایجنت

بازگشت‌پذیری یک قابلیت رابط کاربری نیست. ویژگی نحوه نوشتن وضعیت توسط هر ابزار است و باید پیش از اعطای خودمختاری، برای هر ابزار طراحی شود.

agent-designreversibilitytool-use
نمای نزدیک از یک رک سرور که چراغ‌های نشانگر و کابل‌کشی ساختاریافته را در یک مرکز داده نشان می‌دهد.
۲۸ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

رد کردن یک تصمیم مسیریابی است، نه یک ویژگی مدل

تجاوز عامل معمولاً ناشی از نبود یک تصمیم مجوزدهی در بالادست مدل است. ایمنی باید در مسیر درخواست باشد، نه فقط در آموزش هم‌راستایی.

agent-safetypolicy-enginetool-use
Flat lay of wooden letter blocks spelling 'Next Steps', inspiring progress and motivation.
۲۳ سپتامبر ۲۰۲۶·4 دقیقه مطالعه

بدافزاری که حرکت بعدی خود را انتخاب می‌کند، دفاع مبتنی بر امضا را می‌شکند

وقتی ابزارهای نفوذ از مجموعه‌ای از مدل‌ها برای انتخاب اقدام بعدی خود استفاده می‌کنند، تشخیص باید از مصنوعات به رفتار تغییر کند — و پلتفرم‌های agent پیامدهای آن را به ارث می‌برند.

agent-securitybehavioural-detectionllm-agents
میکروسکوپ آزمایشگاهی با عدسی روشن و پیچ‌های تنظیم دقیق روی یک میز کار
۲۰ سپتامبر ۲۰۲۶·6 دقیقه مطالعه

بودجه‌های اختیار: سطح کنترل گمشده میان یک عامل و ابزارهایش

محدودیت‌های پرامپت جنبهٔ توصیه‌ای دارند. ایمنی واقعی از آنجا می‌آید که هر قابلیت را به‌عنوان یک بودجهٔ اختیار قابل‌مصرف در نظر بگیریم: دامنه، سهمیه، انقضا و گواهی.

agent-safetyauthority-budgetstool-use