وبلاگ
یادداشت‌هایی از ساخت سیستم‌های ایجنت
هارنس‌های ارزیابی، الگوهای ارکستراسیون، طراحی حافظه و شکست‌های پشت آن‌ها — نوشته‌شده در حالی که جزئیات هنوز تازه است.
۲۲ اکتبر ۲۰۲۶·6 دقیقه مطالعه
مجموعه‌های ارزیابی فاسد می‌شوند: نسخه‌بندی هارنس، نه فقط مدل
ایجنت‌های خودبهبوددهنده‌ای که تست‌های خود را حفظ می‌کنند، نقصی در خط لوله را آشکار می‌کنند: مجموعه‌های ارزیابی، مصنوعات داده‌ای با همان الزامات چرخه حیات کد هستند.
eval-setsagent-evaluationml-pipeline
۰۱ اکتبر ۲۰۲۶·4 دقیقه مطالعه
قاضی یک کامپوننت است: نسخه‌بندی خطوط لوله LLM-as-Judge مانند هر وابستگی دیگر
LLM-as-judge تنها زمانی قابل اعتماد است که مدل قاضی، پرامپت، روبریک و پارامترهای دیکودینگ به‌عنوان یک آرتیفکت درجه‌یک پین و رگرسیون‌تست شوند.
llm-as-judgeevaluationversioning