یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
ناوگان‌های عامل به‌عنوان ابزارهای کشف: مسئله ارزیابی پشت Patch the Planet
ناوگان‌های عامل، پرسش ارزیابی را از دقت به‌ازای هر عامل به بازده به‌ازای هر ساعت محاسباتی تحت یک بودجه مثبت کاذب تغییر می‌دهند. بیشتر بنچمارک‌های عامل این را اندازه نمی‌گیرند.
ردیابی غیرقطعی‌بودن: آنچه Concordance و DeepEval درباره ارزیابی عامل آشکار می‌کنند
تصمیم‌های ناسازگار عامل معمولاً مشکل ورودی گمشده است. ارزیابی باید زمینه کامل تصمیم را ثبت و بازپخش کند، نه اینکه خروجی‌ها را پس از وقوع امتیاز دهد.
مجموعه‌های ارزیابی فاسد می‌شوند: نسخه‌بندی هارنس، نه فقط مدل
ایجنت‌های خودبهبوددهنده‌ای که تست‌های خود را حفظ می‌کنند، نقصی در خط لوله را آشکار می‌کنند: مجموعه‌های ارزیابی، مصنوعات داده‌ای با همان الزامات چرخه حیات کد هستند.
بنچمارک‌ها خوب‌اند؛ هارنس همان متغیری است که نسخه‌بندی‌اش نکرده‌اید
امتیاز یک لیدربورد حاصل ترکیب مدل، اسکیمای ابزارها، سیاست تلاش مجدد و محدودیت‌های زمان اجراست. هارنس را منتشر کنید، وگرنه عدد هیچ معنایی ندارد.
شکاف ۸.۳ برابری مصرف، مسئله‌ی تناسب گردش‌کار است، نه مسئله‌ی لایسنس
استقرار گسترده در برابر مصرف محدود نشان می‌دهد agentها به گردش‌کارهایی متصل شده‌اند که هرگز برای آن‌ها تعریف نشده بودند. راه‌حل، تجزیه‌ی گردش‌کار پیش از انتخاب مدل است.
ارزیابی ایجنت‌ها همان بازپخش رخدادهاست: ساخت پیکره رگرسیون از ردهای تولید
مجموعه‌های ارزیابی ایجنت باید از مسیرهای تولید ثبت‌شده و بازپخش رخدادها رشد کنند، نه از وظایف خیالی، زیرا شکست‌هایی که اهمیت دارند کشف می‌شوند، نه طراحی.
وقتی یک ازدحام ایجنت LLM را مقیاس‌پذیر می‌کنید، واقعاً چه چیزی می‌شکند
سیستم‌های چند-ایجنی کمتر از توانایی مدل شکست می‌خورند و بیشتر از مکانیک‌های هماهنگی. نگاهی به وضعیت مشترک، پروتکل‌های تحویل، و بده‌بستان‌های موازی‌سازی.
بازجویی از مدل یک روش بازبینی است، نه یک ویژگی شخصیتی
برخورد با خروجی agent به‌عنوان ادعایی که باید از آن بازجویی شود، نه نتیجه‌ای که باید پذیرفته شود، یک رویه ارزیابی تکرارپذیر است که تیم‌ها می‌توانند آن را نهادینه کنند.
آلودگی بنچمارک یک باگ خط لوله داده است: نسخه‌بندی مجموعه‌های ارزیابی مانند کد
شکست‌های ارزیابی عامل که به ضعف مدل نسبت داده می‌شوند، اغلب شکست‌های بهداشت مجموعه ارزیابی هستند. مجموعه‌های ارزیابی به همان منشأ، نسخه‌بندی و کنترل دسترسی داده‌های آموزشی نیاز دارند.