وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۰۳ اکتبر ۲۰۲۶·6 دقیقه مطالعه
قاضی LLM یک وابستگی نسخه‌بندی‌شده است: کاهش هزینهٔ خطوط ارزیابی بدون از دست دادن قابلیت مقایسه
قاضی LLM ارزان‌تر تنها زمانی معتبر است که مانند هر وابستگی دیگری نسخه‌بندی، پین و آزمون رگرسیون شود؛ در غیر این صورت، صرفه‌جویی به بهای از دست رفتن قابلیت مقایسه میان اجراها پرداخت می‌شود.
llm-evaluationjudge-modelsregression-testing
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه
بنچمارکی که شکست: چرا هارنس‌های ارزیابی به تست‌های رگرسیون خودشان نیاز دارند
یک اجرای بنچمارک روی ۲۷ مدل، هارنس را به‌عنوان منبع خطا نشان داد، نه مدل‌ها را. کد ارزیابی نرم‌افزار تولیدی است: نسخه‌بندی کنید، کاناری کنید و آن را در برابر پاسخ‌های شناخته‌شده تست کنید.
evaluation-harnessllm-benchmarkingregression-testing
۲۴ سپتامبر ۲۰۲۶·5 دقیقه مطالعه
آلودگی بنچمارک یک باگ خط لوله داده است: نسخه‌بندی مجموعه‌های ارزیابی مانند کد
شکست‌های ارزیابی عامل که به ضعف مدل نسبت داده می‌شوند، اغلب شکست‌های بهداشت مجموعه ارزیابی هستند. مجموعه‌های ارزیابی به همان منشأ، نسخه‌بندی و کنترل دسترسی داده‌های آموزشی نیاز دارند.
evaluationbenchmark-contaminationdata-provenance