وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه
ناوگان‌های عامل به‌عنوان ابزارهای کشف: مسئله ارزیابی پشت Patch the Planet
ناوگان‌های عامل، پرسش ارزیابی را از دقت به‌ازای هر عامل به بازده به‌ازای هر ساعت محاسباتی تحت یک بودجه مثبت کاذب تغییر می‌دهند. بیشتر بنچمارک‌های عامل این را اندازه نمی‌گیرند.
agent-evaluationmulti-agent-systemsvulnerability-discovery
۲۰ سپتامبر ۲۰۲۶·6 دقیقه مطالعه
ارزیابی ایجنت‌ها بر اساس مسیر، نه پاسخ: یادداشتی درباره طراحی بنچمارک
بنچمارک‌هایی که فقط خروجی نهایی را امتیاز می‌دهند، ایجنت‌هایی را پاداش می‌دهند که از مسیرهای ناایمن یا غیرقابل‌تکرار به پاسخ درست می‌رسند. ارزیابی مسیرمحور این مشکل را برطرف می‌کند.
agent-evaluationbenchmarkingtrajectory-grading