استجواب النموذج أسلوب مراجعة، لا سمة شخصية

الممارسة

من الأوصاف الشائعة للعمل مع وكلاء LLM أن بعض الناس "يستجوبون النموذج" بينما يقبل آخرون الإجابة الأولى. هذا التأطير يتعامل مع الاستجواب كأنه مزاج أو ميل شخصي. وهو ليس كذلك. الاستجواب أسلوب مراجعة: مجموعة محددة من الأسئلة تُطرح على المخرجات قبل أن يُسمح لها بأن تُحتسب كنتيجة. التمييز مهم لأن الأساليب يمكن تدوينها وإسنادها وأخذ عينات منها وتدقيقها وتحسينها. أما الأمزجة فلا.

الأسلوب مباشر. فبدلاً من قراءة إجابة مولّدة والحكم على ما إذا كانت تبدو صحيحة، يطلب المراجع من الوكيل الأدلة التي تستند إليها الإجابة، والبدائل التي نظر فيها، وأساس الثقة المعلنة، وما الذي يمكن أن يكذّبها. هذه ليست أسئلة بلاغية. لكل سؤال شكل صحيح للإجابة، والوكيل الذي لا يستطيع إنتاج ذلك الشكل قد كشف عن ثغرة في مساره التشغيلي لا في صياغته.

هذه هي الحركة نفسها التي تقوم بها مراجعة الكود الجيدة. لا يُدمج طلب السحب لأن الفرق يبدو معقولاً؛ بل يُدمج لأن المؤلف يستطيع شرح لماذا هذا التغيير وليس غيره، وما الذي يعتمد عليه، وكيف سيُختبر. مخرجات الوكيل تستحق المعاملة ذاتها، والتغطية الأخيرة لفرق تستجوب مخرجات النموذج بدلاً من الوثوق بالردود الأولى هي وصف لانتشار هذا الانضباط، لا لظهور نمط شخصية.

ما الذي يسأل عنه الاستجواب فعلاً

الاستجواب المفيد يتضمن أربعة أسئلة، وهي قابلة للتعميم عبر أصناف المهام:

• الأدلة: على أي مصادر أو نتائج أدوات أو بيانات استندت هذه الإجابة؟
• البدائل: ما الفروع الأخرى التي نُظر فيها، ولماذا رُفضت؟
• أساس الثقة: ما الذي يجعل هذه الإجابة أكثر أو أقل يقيناً تحديداً — تغطية المصادر، توافق الأدوات، غموض الطلب؟
• التكذيب: ما الملاحظة التي تجعل هذه الإجابة خاطئة، وهل تلك الملاحظة متاحة؟

السؤال الرابع هو ما يفصل المراجعة عن الطمأنة. الإجابة التي لا يمكن تكذيبها بأي ملاحظة متاحة ليست ادعاءً؛ إنها بيان نية. وعلى المراجعين التعامل معها على هذا الأساس.

لا ينجح الأسلوب إلا إذا كان الوكيل قادراً على إظهار المخرجات الوسيطة. فإذا حدث الاسترجاع واستخدام الأدوات واختيار الفروع داخل صندوق أسود ولم يُصدَر سوى النص النهائي، فلن يجد الاستجواب ما يعضّ عليه. عندئذ يُختزل المراجع إلى مطالبة النموذج بالتأمل الذاتي، وهو ما ينتج سرداً معقولاً لا أدلة. لذا فإن المتطلب الهندسي يقع في مرحلة سابقة للمراجعة: يجب تزويد التشغيل بأدوات القياس بحيث توجد المخرجات الوسيطة لتُعرض.

ما الذي يجب التقاطه لجعله ممكناً

ثلاث فئات من السجلات تجعل الاستجواب ممكناً. ولا شيء منها اختياري إذا أردنا للأسلوب أن يكون أكثر من مسرح.

مصدر الاسترجاع. لكل مقطع مسترجع: معرّف المستند، وإصدار المستند أو بصمته، وإزاحات النطاق، والاستعلام الذي أظهره، والترتيب الذي وصل به. الإصدار مهم لأن المستند قد يتغير بين التشغيل والمراجعة، وقد يقارن المراجع إجابةً بالنص الحالي بينما يقارنها في الحقيقة بالنص الخطأ. وإزاحات النطاق مهمة لأن الاستشهاد بمستند كامل ليس دليلاً؛ أما الاستشهاد بفقرة فهو دليل.

سجلات استدعاء الأدوات. لكل استدعاء أداة: اسم الأداة، والمدخل الدقيق، والمخرج الدقيق، والطابع الزمني، وحالة الخطأ إن وُجدت. راية النجاح ليست سجلاً. يحتاج المراجعون إلى رؤية ما طُلب من الأداة وما أعادته، لأن نسبة كبيرة من إخفاقات الوكلاء هي إخفاقات في بناء المدخلات — فقد استُدعيت الأداة بشكل صحيح لكن طُلب منها الشيء الخطأ.

الفروع المرفوضة وأسبابها. عندما يستكشف الوكيل خطة ثم يتخلى عنها، ينبغي الاحتفاظ بالخطة المرفوضة وسبب رفضها. هذا ما يتيح للمراجع رؤية فضاء البحث لا المسار الناجي فقط. وبدون ذلك، لا يستطيع المراجع التمييز بين أن الوكيل نظر في البديل الواضح ورفضه بناءً على دليل، أو أنه لم ينظر فيه أصلاً. هاتان الحالتان تبدوان متطابقتين في المخرجات النهائية وتختلفان اختلافاً كاملاً في دلالاتهما.

آلية ملموسة: أصدر سجل تشغيل منظّماً إلى جانب المخرجات، بقسم واحد لكل فئة مما سبق، واجعل واجهة المراجعة تعرض ذلك السجل بجانب الإجابة. عندئذ تصبح مهمة المراجع قراءة أثرين معاً بدلاً من التخمين في أثر واحد.

تحويله إلى بوابة مراجعةونات.

أولاً، حدّد مجموعة صغيرة من أسئلة الاستجواب لكل صنف من أصناف المهام. مهمة الإجابة على الأسئلة المعتمدة على الاسترجاع تحتاج أسئلة المصدر والإصدار. ومهمة التخطيط تحتاج أسئلة البدائل والتكذيب. ومهمة كثيفة استخدام الأدوات تحتاج أسئلة بناء المدخلات ومعالجة الأخطاء. أبقِ المجموعة صغيرة — من ثلاثة إلى خمسة لكل صنف — بحيث تكون الإجابة عنها خطوة روتينية لا مشروعاً.

ثانياً، اشترط الإجابات قبل اعتبار التشغيل مكتملاً. هذا انتقال حالة، لا اقتراح. التشغيل الذي لا يستطيع الإجابة عن أسئلة صنفه ليس مكتملاً؛ إنه معلّق، ويُصعَّد. والتصعيد هو الإشارة: الوكيل الذي لا يستطيع الإجابة عن سؤال ينبغي أن يكون قادراً على الإجابة عنه قد أخبرك شيئاً محدداً عن استرجاعه أو أدواته.

ثالثاً، خُذ عينات من التشغيلات للاستجواب البشري بمعدل ثابت. البوابات الآلية تلتقط الإخفاقات البنيوية؛ والبشر يلتقطون الإخفاقات الدلالية. ومعدل أخذ عينات ثابت — كل تشغيل في صنف عالي العواقب، ونسبة منه في الأصناف الأدنى — يبقي عبء المراجعة البشرية متوقعاً والتغطية صادقة.

أثمن مخرجات هذه البوابة ليس الحكم الفردي. بل السؤال المتكرر الذي لا يمكن الإجابة عنه. فعندما يفشل السؤال نفسه عبر تشغيلات كثيرة، يكون الإصلاح في الاسترجاع أو الأدوات، لا في ترقيع للـ prompt. وترقيع الـ prompt الذي يجعل الوكيل يسرد إجابة لا يملكها أسوأ من الإخفاق، لأنه يزيل الإشارة.

الحدود والمقايضات

الثقة المُبلَّغ عنها ذاتياً ليست دليلاً. عندما يقول الوكيل إنه واثق، فهذا تسلسل رموز مولّد، لا قياس. يعتمد الأسلوب على مخرجات خارجية — المقاطع المسترجعة، ومخرجات الأدوات، وسجلات الفروع — وحيث لا توجد هذه، يتدهور الاستجواب إلى مطالبة النموذج بوصف نفسه. وينبغي تسجيل ذلك الوصف كادعاء، لا التعامل معه كاستنتاج.

كما يضيف الاستجواب زمن استجابة وتكلفة. فإنتاج سجلات تشغيل منظّمة، والاحتفاظ بالفروع المرفوضة، والإجابة عن أسئلة البوابة، كلها تستهلك حوسبة وتخزيناً، وأخذ العينات البشري يستهلك وقت المراجع. ولهذا ينتمي الأسلوب إلى المسارات عالية العواقب أولاً: القرارات المكلفة التراجع، والمخرجات التي تصل إلى العملاء، أو الإجراءات التي تمس أنظمة الإنتاج. أما المسارات الأدنى عواقب فيمكن تشغيلها بأدوات قياس أخف حتى ترسخ الممارسة وتصبح الأدوات رخيصة بما يكفي للتوسع.

الخلاصة الصادقة أن الاستجواب انضباط مراجعة له تكلفة حقيقية وعائد حقيقي. إنه يغيّر ما يُسجَّل، لأن البوابة لا تعمل بدون سجلات المصدر والأدوات. ويغيّر ما يُراجَع، لأن المراجعين يقرؤون سجلات التشغيل لا النص النهائي وحده. ويغيّر ما يُشحن، لأن التشغيل الذي لا يستطيع الإجابة عن أسئلة صنفه لا يمر. الفرق التي تتبناه ليست أكثر تشككاً بطبعها. إنها ببساطة نقلت التشكك إلى المسار التشغيلي، حيث يمكن قياسه وصيانته.

أين يترك هذا عملية المراجعة

التأطير الذي يجب التخلي عنه هو أن بعض المهندسين يستجوبون النماذج وآخرين لا يفعلون. والتأطير الذي يجب تبنيه هو أن الاستجواب بوابة بأسئلة محددة ومخرجات محددة وتصعيد محدد. تلك البوابة هي الفرق بين ممارسة تقييم ورأي. وهي أيضاً النسخة الوحيدة من الممارسة التي تصمد أمام تغيّر الأفراد، أو تغيّر النموذج، أو تغيّر صنف المهمة — أي النسخة الوحيدة الجديرة بالبناء.