وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۰۳ اکتبر ۲۰۲۶·6 دقیقه مطالعه
قاضی LLM یک وابستگی نسخه‌بندی‌شده است: کاهش هزینهٔ خطوط ارزیابی بدون از دست دادن قابلیت مقایسه
قاضی LLM ارزان‌تر تنها زمانی معتبر است که مانند هر وابستگی دیگری نسخه‌بندی، پین و آزمون رگرسیون شود؛ در غیر این صورت، صرفه‌جویی به بهای از دست رفتن قابلیت مقایسه میان اجراها پرداخت می‌شود.
llm-evaluationjudge-modelsregression-testing
۲۸ سپتامبر ۲۰۲۶·5 دقیقه مطالعه
مسیریابی مدل پیش از آنکه یک مسئله بهینه‌سازی باشد، یک مسئله ارزیابی است
مسیریابی میان مدل‌ها تنها زمانی به صرفه است که روتر بر پایه نتایج در سطح وظیفه و تحت یک مجموعه ارزیابی ثابت سنجیده شود، نه فقط بر پایه هزینه به ازای هر توکن.
model-routingllm-evaluationagent-systems