المدونة

ملاحظات من بناء أنظمة الوكلاء

أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.

مجموعات التقييم تتدهور: إصدار النسخ للأداة، وليس للنموذج فقط

الوكلاء ذاتية التحسين التي تحفظ اختباراتها تكشف عيبًا في خط الأنابيب: مجموعات التقييم هي قطع بيانات لها نفس التزامات دورة الحياة التي للكود.

لا يكون LLM-as-judge موثوقًا إلا عندما يُثبَّت نموذج القاضي والـ prompt والـ rubric ومعاملات فك الترميز وتُختبر انحدارًا كأثر من الدرجة الأولى.