ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
قاضي LLM هو تبعية مُصدَّرة بإصدارات: تقليص تكاليف خطوط أنابيب التقييم دون فقدان القابلية للمقارنة
القاضي LLM الأرخص لا يكون سليماً إلا إذا كان مُصدَّراً بإصدارات ومثبَّتاً ومختبَراً بالانحدار مثل أي تبعية أخرى؛ وإلا فإن التوفير يُدفع ثمنه بفقدان القابلية للمقارنة بين التشغيلات.
القاضي مكوّن: إدارة إصدارات خطوط LLM-as-Judge كأي تبعية أخرى
لا يكون LLM-as-judge موثوقًا إلا عندما يُثبَّت نموذج القاضي والـ prompt والـ rubric ومعاملات فك الترميز وتُختبر انحدارًا كأثر من الدرجة الأولى.
تقييمات الوكيل هي إعادة تشغيل الحوادث: بناء مجموعة انحدار من آثار الإنتاج
يجب تنمية مجموعات تقييم الوكيل من المسارات الإنتاجية الملتقطة وإعادات تشغيل الحوادث، لا من مهام متخيلة، لأن الإخفاقات المهمة تُكتشف ولا تُصمم.
توجيه النماذج مشكلة تقييم قبل أن يكون مشكلة تحسين
لا يُجدي التوجيه بين النماذج نفعًا إلا عندما يُحكم على الموجّه بناءً على النتائج على مستوى المهمة ضمن مجموعة تقييم ثابتة، لا على التكلفة لكل token وحدها.
المعيار الذي انكسر: لماذا تحتاج أدوات التقييم إلى اختبارات انحدار خاصة بها
كشف تشغيل معياري لـ 27 نموذجًا أن أداة التقييم نفسها، وليس النماذج، هي مصدر الخطأ. كود التقييم برمجية إنتاجية: ضعه تحت التحكم بالإصدارات، واختبره تدريجيًا، واختبره مقابل إجابات معروفة.
تصنيف أعطال الوكيل: تسمية طرق انهيار الأنظمة متعددة الخطوات
مفردات مشتركة لأنماط عطل الوكيل تحوّل مراجعات الحوادث من حكايات إلى إشارات قابلة للعد والاختبار التراجعي عبر طبقات النموذج والأداة والتنسيق والبيانات.