یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
قاضی LLM یک وابستگی نسخه‌بندی‌شده است: کاهش هزینهٔ خطوط ارزیابی بدون از دست دادن قابلیت مقایسه
قاضی LLM ارزان‌تر تنها زمانی معتبر است که مانند هر وابستگی دیگری نسخه‌بندی، پین و آزمون رگرسیون شود؛ در غیر این صورت، صرفه‌جویی به بهای از دست رفتن قابلیت مقایسه میان اجراها پرداخت می‌شود.
قاضی یک کامپوننت است: نسخه‌بندی خطوط لوله LLM-as-Judge مانند هر وابستگی دیگر
LLM-as-judge تنها زمانی قابل اعتماد است که مدل قاضی، پرامپت، روبریک و پارامترهای دیکودینگ به‌عنوان یک آرتیفکت درجه‌یک پین و رگرسیون‌تست شوند.
ارزیابی ایجنت‌ها همان بازپخش رخدادهاست: ساخت پیکره رگرسیون از ردهای تولید
مجموعه‌های ارزیابی ایجنت باید از مسیرهای تولید ثبت‌شده و بازپخش رخدادها رشد کنند، نه از وظایف خیالی، زیرا شکست‌هایی که اهمیت دارند کشف می‌شوند، نه طراحی.
مسیریابی مدل پیش از آنکه یک مسئله بهینه‌سازی باشد، یک مسئله ارزیابی است
مسیریابی میان مدل‌ها تنها زمانی به صرفه است که روتر بر پایه نتایج در سطح وظیفه و تحت یک مجموعه ارزیابی ثابت سنجیده شود، نه فقط بر پایه هزینه به ازای هر توکن.
بنچمارکی که شکست: چرا هارنس‌های ارزیابی به تست‌های رگرسیون خودشان نیاز دارند
یک اجرای بنچمارک روی ۲۷ مدل، هارنس را به‌عنوان منبع خطا نشان داد، نه مدل‌ها را. کد ارزیابی نرم‌افزار تولیدی است: نسخه‌بندی کنید، کاناری کنید و آن را در برابر پاسخ‌های شناخته‌شده تست کنید.
طبقه‌بندی شکست عامل: نام‌گذاری روش‌هایی که سیستم‌های چندمرحله‌ای می‌شکنند
واژگان مشترک برای حالت‌های شکست عامل، بازبینی حوادث را از حکایت به سیگنال‌های قابل شمارش و قابل آزمون رگرسیون در لایه‌های مدل، ابزار، هماهنگ‌سازی و داده تبدیل می‌کند.