یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
تجارت عاملی یک مسئله دستور تفویض است، نه یک مسئله ویترین فروشگاه
والمارت و آمازون درباره ربات‌ها بحث نمی‌کنند. آن‌ها پاسخ‌های متفاوتی به این می‌دهند که چگونه اختیار خریدار بیان، محدود و در لحظه پرداخت اثبات می‌شود.
مدل‌های تصمیم سیاستی را که پیش‌تر نوشته‌اید فشرده می‌کنند؛ آن را نمی‌نویسند
مدل‌های تصمیم کوچک بهینه‌سازی تأخیر و هزینه روی سطح سیاست موجود هستند. تلقی کردن آن‌ها به‌عنوان جایی که سیاست در آن تعریف می‌شود، یک خطای مقوله‌ای است با پیامدهایی در بازبینی، ترکیب‌پذیری و ایمنی.
قاضی یک کامپوننت است: نسخه‌بندی خطوط لوله LLM-as-Judge مانند هر وابستگی دیگر
LLM-as-judge تنها زمانی قابل اعتماد است که مدل قاضی، پرامپت، روبریک و پارامترهای دیکودینگ به‌عنوان یک آرتیفکت درجه‌یک پین و رگرسیون‌تست شوند.
اجرای بادوام، نیاز واقعی زیرساختی برای ایجنت‌های طولانی‌مدت است
سرمایه‌گذاری و حرکت‌های محصولی حول اجرای بادوام به مسئله دشوار واقعی در زیرساخت ایجنت اشاره دارد: بازپخش قطعی و اثرات خودتوان برای اجراهایی که ساعت‌ها و اثرات جانبی خارجی را در بر می‌گیرند.
رد کردن یک تصمیم مسیریابی است، نه یک ویژگی مدل
تجاوز عامل معمولاً ناشی از نبود یک تصمیم مجوزدهی در بالادست مدل است. ایمنی باید در مسیر درخواست باشد، نه فقط در آموزش هم‌راستایی.
ازدحام‌های ایجنت به یک قرارداد کشف نیاز دارند، نه یک پایگاه داده مشترک
در مقیاس ازدحام، مسئله دشوار توافق بر سر نحوه نام‌گذاری، نسخه‌بندی و بازنشستگی واقعیت‌هاست. یک قرارداد کشف باید مقدم بر هر انبار مشترکی باشد.
آلودگی بنچمارک یک باگ خط لوله داده است: نسخه‌بندی مجموعه‌های ارزیابی مانند کد
شکست‌های ارزیابی عامل که به ضعف مدل نسبت داده می‌شوند، اغلب شکست‌های بهداشت مجموعه ارزیابی هستند. مجموعه‌های ارزیابی به همان منشأ، نسخه‌بندی و کنترل دسترسی داده‌های آموزشی نیاز دارند.
پذیرش انسانی یک مسیر جایگزین است، نه یک ویژگی
مسیریابی شکست‌های عامل به انسان تنها زمانی کار می‌کند که قرارداد تشدید صریح باشد: چه وضعیتی تحویل داده می‌شود، اپراتور چه چیزی را می‌تواند تغییر دهد، و چگونه اصلاح به عامل بازمی‌گردد.
پردازش بلندمدت، مدیریت زمینه را به یک مسئله زمان‌بندی تبدیل می‌کند
پنجره زمینه بزرگ‌تر محدودیت را حذف نمی‌کند؛ بلکه مونتاژ زمینه را به یک تصمیم زمان‌بندی درباره اینکه چه چیزی، چه زمانی و با چه هزینه‌ای بارگذاری شود تبدیل می‌کند.