پرش به محتوای اصلی
وبلاگ

یادداشت‌هایی از ساخت سیستم‌های ایجنت

هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.

گوی پلاسمای شیشه‌ای کریستالی با رشته‌های الکتریکی درخشان درون آن، در اتاقی تاریک
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

ایجنت‌هایی که اطاعت می‌کنند و باز هم آسیب می‌زنند: گزارش فیلادلفیا به‌عنوان یک خطای مشخصات

پرونده گزارش نادرست فیلادلفیا داستان توهم نیست. یک خطای مشخصات است: ایجنتی اقدامی پرپیامد را اجرا کرد که پیش‌شرط‌هایش هرگز اعلام نشده بود.

agent-safetytool-usepreconditions
نمای هوایی از آرایه بزرگ پنل خورشیدی در بیابان کالیفرنیا
۲۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه

ردیابی غیرقطعی‌بودن: آنچه Concordance و DeepEval درباره ارزیابی عامل آشکار می‌کنند

تصمیم‌های ناسازگار عامل معمولاً مشکل ورودی گمشده است. ارزیابی باید زمینه کامل تصمیم را ثبت و بازپخش کند، نه اینکه خروجی‌ها را پس از وقوع امتیاز دهد.

agent-evaluationllm-observabilityreplay-testing
نمای ماکرو از سطح سنگ آتشفشانی متخلخل با الگوهای بافت‌دار
۲۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه

کلید قطع فرض را بر یک فرایند می‌گذارد: معناشناسی خاموش‌سازی برای ناوگان‌های agent

کلیدهای قطع و طرح‌های مهار فرض را بر یک فرایند قابل کنترل به‌ازای هر agent می‌گذارند. یک ناوگان مستقرشده گرافی از والدها، فرزندان، نشست‌های ابزار و leaseها است — و به یک پروتکل خاتمه نیاز دارد، نه یک کلید.

agent-infrastructureshutdown-protocolsmulti-agent-systems
نمای نزدیک از یک برد مدار رترو که مسیرهای مسی پیچیده و قطعات الکترونیکی را نشان می‌دهد
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

تجارت عاملی یک مسئله دستور تفویض است، نه یک مسئله ویترین فروشگاه

والمارت و آمازون درباره ربات‌ها بحث نمی‌کنند. آن‌ها پاسخ‌های متفاوتی به این می‌دهند که چگونه اختیار خریدار بیان، محدود و در لحظه پرداخت اثبات می‌شود.

agent-commercedelegationauthorisation
نمای نزدیک از یک برد مدار چاپی سبز با مسیرها و قطعات الکترونیکی
۲۲ اکتبر ۲۰۲۶·5 دقیقه مطالعه

تجارت عامل‌محور بر سر مسئولیت تقسیم می‌شود، نه پروتکل: والمارت، آمازون و مسئلهٔ mandate

خرده‌فروش‌ها دربارهٔ عامل‌های خرید اختلاف دارند چون بر سر این که هزینهٔ تراکنش مورد مناقشه را چه کسی می‌پردازد توافق ندارند. رکورد mandate، نه پروتکل، سطح واقعی یکپارچه‌سازی است.

agent-commercemandatesliability
نمای هوایی از قطارهای باری و ریل‌ها در یک ایستگاه راه‌آهن
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

حاکمیت زمان اجرا بر حاکمیت پرامپت پیروز می‌شود: خوانش بحث Sentry و کلید قطع اضطراری Nvidia

کنترل‌های سطح پرامپت توصیه‌ای هستند، چون درون یک سیستم احتمالاتی زندگی می‌کنند. رهگیری زمان اجرا جایی می‌نشیند که کنش‌ها عینی می‌شوند، و اقتدار همان‌جاست.

runtime-governanceagent-safetypolicy-enforcement
عکس ماکرو از یک برد مدار که مسیرهای مسی، نقاط لحیم‌کاری و یک مدار مجتمع کوچک را با عمق میدان کم نشان می‌دهد.
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

مجموعه‌های ارزیابی فاسد می‌شوند: نسخه‌بندی هارنس، نه فقط مدل

ایجنت‌های خودبهبوددهنده‌ای که تست‌های خود را حفظ می‌کنند، نقصی در خط لوله را آشکار می‌کنند: مجموعه‌های ارزیابی، مصنوعات داده‌ای با همان الزامات چرخه حیات کد هستند.

eval-setsagent-evaluationml-pipeline
نمای مینیمال با پنل‌های هندسی نارنجی و سفید
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه

عامل‌های خفته کلیدهایشان را نگه می‌دارند: بازپس‌گیری اعتبارنامه به‌عنوان یک مرحله از چرخه حیات

عاملی که اجرا را متوقف می‌کند اما اعتبارنامه‌هایش را نگه می‌دارد، یک principal بدون مراقبت است. بهداشت ناوگان باید انقضای اعتبارنامه را زمان‌بندی کند، نه اینکه آن را پس‌اندیشه‌ای در مرحله از رده خارج کردن بداند.

agent-lifecyclecredential-managementagent-security
عکس ماکرو از یک برد مدار که مسیرها، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را با جزئیات دقیق نشان می‌دهد
۱۷ اکتبر ۲۰۲۶·5 دقیقه مطالعه

بنچمارک‌ها خوب‌اند؛ هارنس همان متغیری است که نسخه‌بندی‌اش نکرده‌اید

امتیاز یک لیدربورد حاصل ترکیب مدل، اسکیمای ابزارها، سیاست تلاش مجدد و محدودیت‌های زمان اجراست. هارنس را منتشر کنید، وگرنه عدد هیچ معنایی ندارد.

agent-evaluationharness-versioningllm-agents