یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
بنچمارک‌ها خوب‌اند؛ هارنس همان متغیری است که نسخه‌بندی‌اش نکرده‌اید
امتیاز یک لیدربورد حاصل ترکیب مدل، اسکیمای ابزارها، سیاست تلاش مجدد و محدودیت‌های زمان اجراست. هارنس را منتشر کنید، وگرنه عدد هیچ معنایی ندارد.
بنچمارکی که شکست: چرا هارنس‌های ارزیابی به تست‌های رگرسیون خودشان نیاز دارند
یک اجرای بنچمارک روی ۲۷ مدل، هارنس را به‌عنوان منبع خطا نشان داد، نه مدل‌ها را. کد ارزیابی نرم‌افزار تولیدی است: نسخه‌بندی کنید، کاناری کنید و آن را در برابر پاسخ‌های شناخته‌شده تست کنید.
ایجنتهای همدانشمند به دفتر ادعا نیاز دارند، نه گزارش گفتگو
متن گفتگوها یک سابقه علمی نیستند. ایجنتهای پژوهشی باید ادعاهای ساختاریافته و قابل بررسی همراه با پیوندهای شواهد و میزان اطمینان صریح تولید کنند.
ارزیابی ایجنت‌ها بر اساس مسیر، نه پاسخ: یادداشتی درباره طراحی بنچمارک
بنچمارک‌هایی که فقط خروجی نهایی را امتیاز می‌دهند، ایجنت‌هایی را پاداش می‌دهند که از مسیرهای ناایمن یا غیرقابل‌تکرار به پاسخ درست می‌رسند. ارزیابی مسیرمحور این مشکل را برطرف می‌کند.