وظيفتان تبدوان كواحدة
غالبًا ما يُبنى الوكيل الذي يتصرف والوكيل الذي يقيّم الإجراء من نفس نقطة التحقق (checkpoint)، ونفس هيكل التوجيه (prompt scaffold)، ونفس حزمة الخدمة. هذا مريح، وهو الافتراضي الخاطئ. لنموذج القرار ونموذج الأدلة مجموعتان مختلفتان من المتطلبات، والتعامل معهما ككيان واحد يقرن أنماط فشلهما بطرق تُبطل التقييم بصمت.
نموذج القرار يُحسّن لجودة الإجراء في ظل سياسة معينة: بالنظر إلى حالة، أنتج استدعاء الأداة التالي، أو الرسالة، أو خطوة الخطة التي تدفع الهدف قدمًا ضمن ميزانيات زمن الاستجابة والتكلفة. نموذج الأدلة يُحسّن للمعايرة (calibration)، والاستقرار، ومقاومة التأطير. يجب أن يُنتج حكمًا يبقى ثابتًا عندما تتغير صياغة الفاعل، وأن يتدهور بصدق عندما يكون غير متأكد.
هذان ليسا حجمين مختلفين لنفس الشيء. إنهما مواصفتان مختلفتان.
لنماذج القرار ونماذج الأدلة مجموعتان مختلفتان من المتطلبات
يُحكم على نموذج القرار بما يحدث في المصب. هل أُغلق التذكرة، هل نجح الاختبار، هل أعاد الاسترجاع (retrieval) المستند الصحيح. خصائصه المفيدة هي الإنتاجية، وموثوقية استخدام الأدوات، والقدرة على التعافي من خطوة وسيطة سيئة. زمن الاستجابة مهم لأن النموذج يقع داخل حلقة. نموذج القرار البطيء هو نموذج قرار أسوأ حتى لو كان استدلاله أفضل، لأن الحلقة لها ميزانية.
يُحكم على نموذج الأدلة بجودة تقييماته مقابل مرجع. خصائصه المفيدة هي المعايرة (درجة 0.7 تعني تقريبًا 0.7)، والاستقرار (نفس المدخل يحصل على نفس الدرجة عبر التشغيلات والترتيبات)، والاستقلال عن تأطير الفاعل. يجب أن يكون بطيئًا بما يكفي ليكون حذرًا ورخيصًا بما يكفي للتشغيل على نطاق المجموعة.
المتطلبات تسحب في اتجاهين متعاكسين. تستفيد نماذج القرار من ضغط السياق العدواني والمخرجات الحاسمة الواثقة. تستفيد نماذج الأدلة من المخرجات المحافظة وعدم اليقين الصريح. النموذج المُدرَّب أو المُوجَّه ليكون حاسمًا هو، بحكم بنيته، غير مناسب لمهمة قول "لست متأكدًا من صحة هذا".
لماذا تُفسد الأوزان المشتركة التقييم
عندما يُشتق الحاكم من الفاعل، فإنه يرث نقاط العمى لدى الفاعل. إذا أخطأ الفاعل بشكل منهجي في قراءة تنسيق تاريخ، فإن حاكمًا بنفس الأوزان ونفس توزيع التدريب سيميل إلى قبول القراءة الخاطئة. لا يظهر الفشل كإجابة خاطئة؛ بل يظهر كدرجة ناجحة. يُبلغ التقييم عن صحة بينما النظام معطل.
هذه ليست حالة افتراضية. إنها الحالة العادية لحلقات التقييم الذاتي، حيث يُطلب من نفس النموذج التحقق من مخرجاته. الفحص مرتبط بالخطأ، لذا يضيف الفحص معلومات قليلة. في أسوأ الحالات يضيف معلومات سلبية: الدرجة عالية تحديدًا لأن الفاعل والحاكم يشتركان في نفس الافتراض الخاطئ.
حلقات التحسين الذاتي تضخم المشكلة. إذا تم ضبط الفاعل (fine-tune) أو تحسين توجيهه مقابل درجات الحاكم، فإنه يتعلم تفضيلات الحاكم بدلًا من المهمة. يشير التدرج إلى ما يكافئه الحاكم، بما في ذلك خصوصياته. عبر التكرارات، يتحسن النظام في إرضاء الحاكم ولا يتحسن في العمل. يرتفع مقياس التقييم؛ المنتج لا.
الحكام المستقلون يكلفون أكثر لكل تشغيل. هم، في معظم الحالات، الآلية الوحيدة القادرة على كشف الخطأ المنهجي، لأنهم لا يشاركون الخطأ. هذا هو بيت القصيد من الفصل.
نمط الفصل
تعامل مع الحاكم كتبعية لها دورة حياتها الخاصة.
أَصدر الحاكم بشكل مستقل وثبّته لكل مجموعة
الحاكم ليس علامة إعداد. إنه كيان له إصدار، وتوجيه، ونموذج، وإعداد فك ترميز. ثبّت الأربعة لكل مجموعة تقييم، بنفس الطريقة التي تثبّت بها إصدار مكتبة في ملف قفل. عندما يتغير الحاكم، لم تعد درجات المجموعة قابلة للمقارنة مع التشغيل السابق، ويجب أن يقول النظام ذلك بدلًا من إجراء فرق صامت عبر الإصدارات.
آلية ملموسة: خزّن بيان الحاكم (judge manifest) بجانب كل مجموعة.
suite: checkout-agent-v4
judge:
model: evidence-judge-2024-11
prompt_hash: 9f2c1a
decoding: {temperature: 0.0, top_p: 1.0}
rubric_version: 3
actor:
model: checkout-actor-2024-11
prompt_hash: 4b7e02
كل صف درجة يكتبه 
jpg).
خُذ عينة من مجموعة تحقق موسومة بشريًا لكشف انحراف الحاكم
انحراف الفاعل هو المشتبه به المعتاد، لكن انحراف الحاكم هو الذي يفسد القياس. احتفظ بمجموعة صغيرة موسومة بشريًا لا يتدرب عليها الفاعل ولا يُضبط الحاكم مقابلها. شغّل الحاكم عليها وفق جدول. إذا تحرك توافق الحاكم مع الوسوم البشرية خارج نطاقه التاريخي، فقد انحرف الحاكم، وكل درجة أنتجها منذ آخر تشغيل نظيف مشبوهة.
لا تحتاج مجموعة التحقق أن تكون كبيرة. تحتاج أن تكون مستقرة، وموسومة بعملية مستقلة عن الحاكم، ومفحوصة بشكل متكرر بما يكفي لكشف الانحراف قبل أن يؤثر على قرار النشر.
سجّل هوية الحاكم مع كل درجة
المقارنات التاريخية صالحة فقط إذا كانت أداة القياس هي نفسها. عند تخزين درجة، خزّن تجزئة بيان الحاكم معها. يجب أن ترفض لوحات المعلومات رسم خط اتجاه عبر حدود إصدار الحاكم، أو أن تُظهر الحدود بوضوح. هذه بنية تحتية غير جذابة، وهي الفرق بين مقياس وادعاء.
مقايضات يجب قبولها
الحكم المستقل يضيف زمن استجابة وتكلفة لكل تشغيل تقييم. الحاكم المنفصل يعني استدعاء نموذج ثانٍ لكل عنصر، أو مهمة دفعية على المجموعة، بالإضافة إلى البنية التحتية لإصداره وخدمته. للمجموعات الكبيرة، هذا بند تكلفة حقيقي، وهو ثمن قياس قادر على كشف الأخطاء المنهجية للفاعل.
إصدار الحاكم يخلق عمل ترحيل. عند ترقية الحاكم، لا تكون الدرجات قبل وبعد قابلة للمقارنة مباشرة. إما يُبقى الحاكم القديم حيًا لإعادة تقييم المجموعة التاريخية، أو تُعاد معايرة المجموعة ويُوثق الانقطاع. كلاهما عمل. لا يمكن تجنب أي منهما إذا كان التقييم يهدف إلى إعلام قرار نشر، لأن قرارًا مبنيًا على أرقام غير قابلة للمقارنة هو تخمين يرتدي لوحة معلومات.
البديل أرخص وأسوأ: حاكم يشارك أوزان الفاعل، ويتفق معه بحكم بنيته، ويبلغ عن النجاح. هذا النظام لا يُقيَّم. بل يُمدح.
الحدود خيار تصميمي
الخط الفاصل بين النماذج التي تقرر والنماذج التي تحكم هو حدود تصميمية، وليس حدود حجم. لا يتعلق الأمر باستخدام نموذج أكبر لتقييم نموذج أصغر، أو العكس. يتعلق بكيانين لهما أهداف مختلفة، وأنماط فشل مختلفة، ودورات حياة مختلفة. الفرق التي ترسم الحدود عن قصد تحصل على تقييمات يمكنها التصرف بناءً عليها. الفرق التي تُلغيها تحصل على رقم يرتفع، ونظام لا يرتفع.