المدونة
ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.

03 أكتوبر 2026·6 دقيقة قراءة
قاضي LLM هو تبعية مُصدَّرة بإصدارات: تقليص تكاليف خطوط أنابيب التقييم دون فقدان القابلية للمقارنة
القاضي LLM الأرخص لا يكون سليماً إلا إذا كان مُصدَّراً بإصدارات ومثبَّتاً ومختبَراً بالانحدار مثل أي تبعية أخرى؛ وإلا فإن التوفير يُدفع ثمنه بفقدان القابلية للمقارنة بين التشغيلات.
llm-evaluationjudge-modelsregression-testing

24 سبتمبر 2026·5 دقيقة قراءة
المعيار الذي انكسر: لماذا تحتاج أدوات التقييم إلى اختبارات انحدار خاصة بها
كشف تشغيل معياري لـ 27 نموذجًا أن أداة التقييم نفسها، وليس النماذج، هي مصدر الخطأ. كود التقييم برمجية إنتاجية: ضعه تحت التحكم بالإصدارات، واختبره تدريجيًا، واختبره مقابل إجابات معروفة.
evaluation-harnessllm-benchmarkingregression-testing
24 سبتمبر 2026·5 دقيقة قراءة
تلوث المعايير هو خلل في خط أنابيب البيانات: إدارة إصدارات مجموعات التقييم كالكود
غالبًا ما تكون إخفاقات تقييم الوكيل التي تُعزى إلى ضعف النموذج ناتجة عن إخفاقات في نظافة مجموعة التقييم. تحتاج مدونات التقييم إلى نفس المصدر وإدارة الإصدارات وضوابط الوصول التي تحتاجها بيانات التدريب.
evaluationbenchmark-contaminationdata-provenance