لماذا يبدو التوجيه رافعة تكلفة
عادةً ما يُقدَّم توجيه النماذج كأداة للتحكم في الإنفاق. الفكرة مباشرة: نموذج frontier كبير يتولى الحالات الصعبة، ونموذج أصغر مفتوح الأوزان يتولى الحالات الروتينية، ومصنّف يوجّه كل طلب إلى الطبقة الأرخص عندما يبدو سهلًا. ولأن النماذج مفتوحة الأوزان تحسّنت عبر نطاق واسع من العمل الروتيني، تنخفض الفاتورة الإجمالية ويظل العرض التجريبي ناجحًا. المكسب الظاهر هو الإنفاق. والتكلفة الخفية هي فشل المهمة على الذيل.
نمط الفشل بنيوي، لا عرضي. الموجّه سياسة تربط الطلب بنموذج. وإذا حُسّنت السياسة مقابل وكيل مثل التكلفة لكل token، فستتعلم إرسال مزيد من الحركة إلى النموذج الأرخص. هذا سلوك صحيح بالنسبة للوكيل وسلوك خاطئ بالنسبة للمنتج كلما كان النموذج الرخيص صحيحًا تقريبيًا فقط في فئة مهام لا يميّزها الوكيل. تخفي المعايير الإجمالية ذلك لأنها تأخذ المتوسط عبر فئات المهام. يمكن أن يتحسّن معيار توجيه يُبلّغ عن درجة واحدة بينما تتراجع فئة مهام محددة إلى ما دون العتبة التي تهم المستخدمين.
ما الذي يجب تقييم الموجّه مقابله
الموجّه مكوّن في المسار الحرج، ويحتاج إلى الانضباط نفسه في التقييم الذي يحتاجه أي مكوّن آخر يمكنه تغيير السلوك بصمت. هناك ثلاثة أشياء مطلوبة قبل السماح بشحن سياسة توجيه.
مجموعة مهام مجمّدة بمعايير نجاح لكل مهمة. المجموعة عبارة عن مجموعة مهام تمثيلية، لكل منها شرط نجاح صريح. يجب أن تكون شروط النجاح لكل مهمة، لا للمجموعة. المجموعة التي تُبلّغ عن رقم واحد تدعو الموجّه إلى مقايضة خسارة صغيرة في مهام كثيرة بمكسب كبير في مهام قليلة. معايير كل مهمة تجعل هذه المقايضة مرئية. تُدار المجموعة بإصدارات مثل الكود: عند إضافة مهمة أو حذفها أو تغيير معاييرها، يتغير الإصدار، وتُقارن تغييرات التوجيه مقابل الإصدار نفسه.
نموذج تكلفة يشمل إعادات المحاولة والتصعيد والمراجعة البشرية. تكلفة inference هي أصغر جزء من التكلفة الحقيقية لقرار التوجيه. النموذج الرخيص الذي يفشل كثيرًا يطلق إعادة محاولة، أو تصعيدًا إلى النموذج الأكبر، أو مراجعة بشرية. ولكل من ذلك تكلفة، وكل منها نتيجة لقرار التوجيه. نموذج التكلفة الذي يحسب inference فقط سيفضّل النموذج الرخيص بشكل منهجي حتى عندما تكون التكلفة من الطرف إلى الطرف أعلى. ينبغي أن ينسب النموذج إعادات المحاولة والتصعيدات إلى قرار التوجيه الذي تسبب فيها، حتى يُحكم على السياسة على المسار الكامل.
بوابة انحدار تمنع تغيير التوجيه عندما تنخفض أي فئة مهام إلى ما دون العتبة. البوابة هي آلية الإنفاذ. تقارن السياسة المرشحة بالسياسة الحالية على المجموعة المجمّدة وترفض ترقية المرشح إذا انخفضت أي فئة مهام إلى ما دون عتبتها، حتى لو تحسّن الإجمالي. البوابة هي ما يحوّل التوجيه من تجربة تكلفة إلى تغيير هندسي له قصة rollback.
آلية ملموسة للبوابة هي المقارنة المزدوجة. لكل مهمة في المجموعة، شغّل السياسة الحالية والسياسة المرشحة، وسجّل النتيجة، واحسب معدل النجاح لكل فئة. لا يُرقّى المرشح إلا إذا كانت كل فئة عند عتبتها أو أعلى منها ولم يكن الإجمالي أسوأ. هذا أغلى من تشغيل إجمالي واحد، لكنه الطريقة الوحيدة لالتقاط انحدار يختبئ داخل متوسط.
ملاحظات التصميم
وجّه بناءً على سمات المهمة، لا على طول prompt وحده. طول prompt وكيل ضعيف للصعوبة. prompt قصير يمكن أن يكون مهمة استدلال صعبة؛ وprompt طويل يمكن أن يكون استخراجًا روتينيًا. تشمل السمات الأفضل نوع المهمة، ووجود متطلبات مخرجات منظمة، وعدد tool calls التي يُرجّح أن يحتاجها المسار، وإشارات ثقة النموذج نفسه. مجموعة السما
اسمح للموجّه بالتصعيد في منتصف المسار عندما تتدهور إشارات الثقة. قرار واحد في بداية المسار هش. قد يبدأ النموذج بثقة ثم ينتج tokens منخفضة الثقة، أو تصحيحات ذاتية متكررة، أو tool calls تعيد أخطاء. ينبغي أن يكون الموجّه قادرًا على التصعيد إلى نموذج أقوى في منتصف المسار عندما تتجاوز تلك الإشارات عتبة. هذا هو الفرق بين مصنّف ثابت وحلقة تحكم. حلقة التحكم تكلف أكثر لكل طلب لكنها تستعيد مهامًا كانت سياسة ثابتة ستفشل فيها.
سجّل قرار التوجيه إلى جانب النتيجة. ينبغي أن يسجّل كل طلب النموذج الذي اختير، والسمات التي دفعت الاختيار، وما إذا حدث تصعيد، وما كانت النتيجة النهائية. بدون هذا السجل، لا يمكن تدقيق السياسة ولا نسب الانحدارات. السجل هو أيضًا بيانات التدريب للإصدار التالي من الموجّه.
المقايضات
دقة التوجيه الأدق تكلف latency وتعقيدًا. الموجّه الذي يفحص سمات كثيرة ويمكنه التصعيد في منتصف المسار يضيف latency إلى كل طلب وتعقيدًا إلى النظام. التوجيه الأخشن أسرع وأبسط لكنه أقل دقة. تعتمد الدقة الصحيحة على تكلفة قرار توجيه خاطئ نسبةً إلى تكلفة latency.
مسارات التصعيد تحتاج ميزانية خاصة بها أو تصبح الافتراضي. إذا كان التصعيد مجانيًا، سيصعّد الموجّه كل شيء وتصبح الطبقة الأرخص زخرفية. يحتاج مسار التصعيد إلى ميزانية وعتبة، ويجب ضبطهما مقابل المجموعة المجمّدة نفسها. وإلا ينهار الموجّه إلى النموذج الأقوى وتصبح طبقة التوجيه عبئًا صافيًا.
موجّه بلا harness تقييم هو تبعية غير مقيسة في المسار الحرج. هذه هي المقايضة الصادقة في قلب المقال. يمكن للتوجيه أن يخفض التكلفة ويحسّن النتائج، لكن فقط إذا قيس على النتائج. الموجّه المحسّن للتكلفة لكل token وغير المقيَّم لكل مهمة هو تبعية يمكن أن تفشل بصمت، والفشل الصامت في المسار الحرج أسوأ من فاتورة أعلى. harness التقييم ليس عبئًا اختياريًا؛ إنه ما يجعل التحسين آمنًا.
الخلاصة العملية هي أن التوجيه ينبغي أن يُبنى evaluation-first. حدّد مجموعة المهام، ومعايير النجاح لكل مهمة، ونموذج التكلفة الكامل، وبوابة الانحدار قبل ضبط السياسة. ثم حسّن. الترتيب مهم لأن دالة الهدف تحدد ما يتعلمه الموجّه. حسّن التكلفة أولًا فيتعلم الموجّه أن يكون رخيصًا. حسّن النتائج تحت قيد تكلفة فيتعلم الموجّه أن يكون مفيدًا.