المدونة
ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
17 أكتوبر 2026·5 دقيقة قراءة
المعايير جيدة؛ لكن أداة التقييم هي المتغير الذي لم تُدِر إصداره
درجة لوحة الصدارة هي نتيجة مشتركة للنموذج ومخططات الأدوات وسياسة إعادة المحاولة وحدود وقت التشغيل. انشر أداة التقييم وإلا فلا معنى للرقم.
agent-evaluationharness-versioningllm-agents
24 سبتمبر 2026·5 دقيقة قراءة
المعيار الذي انكسر: لماذا تحتاج أدوات التقييم إلى اختبارات انحدار خاصة بها
كشف تشغيل معياري لـ 27 نموذجًا أن أداة التقييم نفسها، وليس النماذج، هي مصدر الخطأ. كود التقييم برمجية إنتاجية: ضعه تحت التحكم بالإصدارات، واختبره تدريجيًا، واختبره مقابل إجابات معروفة.
evaluation-harnessllm-benchmarkingregression-testing
22 سبتمبر 2026·5 دقيقة قراءة
وكلاء العالم المشارك يحتاجون إلى سجل ادعاءات، لا إلى سجل محادثة
النصوص الحوارية ليست سجلاً علمياً. ينبغي لوكلاء البحث أن يُصدروا ادعاءات مُهيكلة قابلة للتحقق مع روابط الأدلة ودرجة ثقة صريحة.
claim-ledgeragent-architecturereproducibility
20 سبتمبر 2026·6 دقيقة قراءة
تقييم الوكلاء على المسارات لا على الإجابات: ملاحظة تصميم معيار قياس
معايير القياس التي تُقيّم المخرجات النهائية فقط تكافئ الوكلاء الذين يصلون إلى إجابات صحيحة عبر مسارات غير آمنة أو غير قابلة لإعادة الإنتاج. التقييم الواعي بالمسار يعالج هذا.
agent-evaluationbenchmarkingtrajectory-grading