الانتقال إلى المحتوى الرئيسي
المدونة

ملاحظات من بناء أنظمة الوكلاء

أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.

لقطة قريبة لرف خوادم بأضواء مؤشرة وكابلات شبكة، تمثّل مكونات بنية تحتية مُصدَّرة بإصدارات.
03 أكتوبر 2026·6 دقيقة قراءة

قاضي LLM هو تبعية مُصدَّرة بإصدارات: تقليص تكاليف خطوط أنابيب التقييم دون فقدان القابلية للمقارنة

القاضي LLM الأرخص لا يكون سليماً إلا إذا كان مُصدَّراً بإصدارات ومثبَّتاً ومختبَراً بالانحدار مثل أي تبعية أخرى؛ وإلا فإن التوفير يُدفع ثمنه بفقدان القابلية للمقارنة بين التشغيلات.

llm-evaluationjudge-modelsregression-testing
صورة مقربة للوحة دائرة كهربائية تُظهر المسارات ونقاط اللحام ومكونًا واحدًا غير محاذٍ تحت عمق ميدان ضحل.
24 سبتمبر 2026·5 دقيقة قراءة

المعيار الذي انكسر: لماذا تحتاج أدوات التقييم إلى اختبارات انحدار خاصة بها

كشف تشغيل معياري لـ 27 نموذجًا أن أداة التقييم نفسها، وليس النماذج، هي مصدر الخطأ. كود التقييم برمجية إنتاجية: ضعه تحت التحكم بالإصدارات، واختبره تدريجيًا، واختبره مقابل إجابات معروفة.

evaluation-harnessllm-benchmarkingregression-testing
Detailed view of an Intel i486 DX2 CPU installed on a vintage motherboard with chips and circuits.
24 سبتمبر 2026·5 دقيقة قراءة

تلوث المعايير هو خلل في خط أنابيب البيانات: إدارة إصدارات مجموعات التقييم كالكود

غالبًا ما تكون إخفاقات تقييم الوكيل التي تُعزى إلى ضعف النموذج ناتجة عن إخفاقات في نظافة مجموعة التقييم. تحتاج مدونات التقييم إلى نفس المصدر وإدارة الإصدارات وضوابط الوصول التي تحتاجها بيانات التدريب.

evaluationbenchmark-contaminationdata-provenance