مهمتان تبدوان مهمة واحدة
يجيب نموذج القرار عن سؤال توجيه: بالنظر إلى الحالة الراهنة، أي فرع هو الأرجح أن يؤدي إلى مسار ناجح؟ يُدرَّب على آثار السلوك السابق، ويُصدر token في غضون أجزاء من الثانية. أما محرك السياسات فيجيب عن سؤال مختلف: بالنظر إلى الحالة الراهنة والإجراء المقترح، هل هذا الإجراء مسموح؟ يقيّم مجموعة قواعد معلنة وقابلة للمراجعة، ويعيد حكمًا في غضون أجزاء من الثانية.
ولأن كليهما يعيد النتيجة بسرعة، ولأن كليهما يقع على المسار الحرج، كثيرًا ما تُدمجهما مخططات المعمارية في صندوق واحد يُوسم بـ "guardrails" أو "router". هذا الدمج خطأ في التصنيف. فالموجّه دالة مُتعلَّمة على المسارات. ومحرك السياسات دالة تصريحية على القواعد. ولهما أنماط فشل مختلفة، وإيقاعات تغيير مختلفة، والتزامات إثباتية مختلفة.
وعند الخلط بين الاثنين، يغيّر تحديث النموذج بصمت ما يُسمح للنظام بفعله. فيصبح تشغيل التدريب تغييرًا في السياسة لم يخضع للمراجعة، ولا يوجد أثر التدقيق الذي تحتاجه مراجعة الحوادث.
لماذا يُغري هذا الاستبدال
يُدفع زمن استجابة الموجّه في كل خطوة من خطوات الوكيل. فمصنّف بـ 2B parameter يحقق نتيجة جيدة في تصنيف النوايا يبدو كـ guardrail في العرض التوضيحي: سريع، ورخيص الاستضافة، ويبدو أنه يُبقي الوكيل على المهمة. أما السياسة التصريحية فتضيف خدمة منفصلة، ومخططًا للقواعد، وعملية مراجعة، وقصة إصدارات. ويفوز المسار الرخيص حتى تتطلب أول حادثة تفسيرًا لسبب اتخاذ إجراء ما.
ما يجب أن يوفره محرك السياسات ولا يستطيع المصنّف توفيره
الحتمية. يجب أن يعطي الطلب والسياق نفسهما الحكم نفسه عبر إصدارات النموذج. أما حكم المصنّف فقد يتغير مع تحديث الأوزان، أو تغيّر درجة الحرارة، أو ترتيب تجميع مختلف. وحكم محرك السياسات دالة على قواعد معلنة ومدخلات صريحة.
القابلية للتعداد. يجب أن يستطيع المدقق سرد كل فئة إجراءات يسمح بها النظام. يمكن استجواب المصنّف، لكن الاستجواب ينتج عينات، لا تعدادًا. والفرق مهم عندما يكون السؤال "ما الذي يمكن لهذا النظام فعله؟" بدلًا من "ما الذي فعله الثلاثاء الماضي؟".
الإسناد. يجب أن يسمّي كل حكم القاعدة التي أنتجته، لا احتمالًا. وعندما يتخذ الوكيل إجراءً يبدو لاحقًا خاطئًا، ينبغي أن يبيّن الأثر أي قاعدة أذنت به. ودرجة ثقة 0.87 لا تجيب عن هذا السؤال.
الإصدارات. تتغير القواعد وفق إيقاع مراجعة، لا إيقاع تدريب. فتاريخ إصدارات محرك السياسات سلسلة تغييرات مراجَعة؛ وتاريخ إصدارات النموذج سلسلة عمليات تدريب. وهذان أثران مختلفان بمراجعين مختلفين ودلالات تراجع مختلفة.
هناك آلية ملموسة تُظهر الفرق. تخيّل حدود أداة يقترح فيها الوكيل استدعاء transfer_funds. قد يوجّه نموذج القرار إلى تلك الأداة لأنه تعلّم أن حالات مشابهة كثيرًا ما تسبق إتمام المهمة بنجاح. أما محرك السياسات فيقيّم الاستدعاء مقابل قواعد مثل amount <= approved_limit وrecipient in allowlist وrequires_human_approval لمجموعة من فئات الإجراءات. فالموجّه يختار من بين إجراءات مسموح بها أصلًا؛ ومحرك السياسات يقرر ما إذا كان الإجراء المختار مسموحًا به من الأساس. والموجّه لا يوسّع المجموعة المسموح بها أبدًا.
تقسيم قابل للعمل
التقسيم الذي يصمد تحت الحمل صغير وصريح.
- تختار نماذج القرار من بين إجراءات مسموح بها أصلًا. وهي تعمل على المجموعة التي أذنت بها السياسة، ولا تستطيع الإضافة إليها.
- تُقيَّم السياسة بعد التوجيه وقبل التنفيذ، عند حدود الأداة. هذا الموضع يعني إمكانية تبديل الموجّه دون تغيير ما يُسمح للنظام بفعله.
- تحمل كل خطوة موجَّهة معرّف القاعدة التي أذنت بها إلى الأثر. فيحتوي الأثر عندئذ على قرار التوجيه وقرار التخويل معًا، ويكونان قابلين للفصل أثناء المراجعة.
- تؤدي عمليات تبديل النموذج إلى تشغيل eval مقابل مجموعة السياسات، لا مجرد فحص دقة. ويسأل الـ eval عمّا إذا كانت الإجراءات المفضلة لدى
لهذا التقسيم كلفة. فهو يضيف استدعاء خدمة على المسار الحرج، ويُجبر الفرق على صيانة مخطط قواعد وعملية مراجعة. والمقايضة الصادقة هي زمن الاستجابة والعبء التشغيلي مقابل قابلية التدقيق والسلوك المحدود. وبالنسبة للأنظمة التي توجّه فقط بين أدوات للقراءة فقط، قد لا يكون العبء مبرَّرًا. أما الأنظمة التي تمسّ المال أو البيانات أو الآثار الجانبية الخارجية، فالعبء هو ثمن القدرة على تفسير إجراء بعد وقوعه.
وهناك مقايضة ثانية في الاتجاه المعاكس. فمحرك السياسات الخشن أكثر من اللازم سيحجب مسارات مشروعة، وستلتف الفرق حوله. والعلاج ليس إضعاف المحرك بل جعل مجموعة القواعد قابلة للمراجعة ومُصدَّرة بإصدارات، بحيث يكون توسيعها تغييرًا متعمدًا ومسجَّلًا لا ضمنيًّا.
نمط الفشل الذي يجب قياسه
نمط الفشل المهم هو التباعد بين الإجراء المفضل لدى الموجّه والمجموعة المسموح بها سياسيًّا. في نظام سليم، تقع تفضيلات الموجّه داخل المجموعة المسموح بها في كل الأوقات تقريبًا، وتكون رفوض السياسة نادرة وقابلة للتفسير. وارتفاع معدل التباعد هو الإشارة إلى أن النموذج تعلّم حول القواعد: فهو يقترح إجراءات تظل السياسة ترفضها، أو يقترح إجراءات تسمح بها السياسة فقط لأن القواعد لم تلحق بها بعد.
القياس هنا مباشر. سجّل، لكل خطوة موجَّهة، الإجراء المفضل لدى الموجّه، وحكم السياسة، ومعرّف القاعدة. ثم تتبّع معدل وقوع الإجراء المفضل خارج المجموعة المسموح بها، ومعدل قبول السياسة لإجراء لم يفضّله الموجّه. ارتفاع المعدل الأول يشير إلى انحراف النموذج نحو سلوك غير مسموح. وارتفاع المعدل الثاني يشير إلى أن مجموعة السياسات أوسع من التوزيع المُتعلَّم للموجّه، وهذه مشكلة مختلفة لكنها تستحق الرؤية بالقدر نفسه.
لا يُغني أي من المعدلين عن الآخر. ومعًا يعطيان صورة لا يوفرها وحدهما لا دقة المصنّف ولا قائمة قواعد محرك السياسات. وهذه الصورة هي ما تحتاجه مراجعة الحوادث، وهي ما لا يستطيع مصنّف سريع إنتاجه.
الخاتمة
نماذج القرار الصغيرة ميزانية زمن استجابة. فهي تشتري السرعة على المسار الحرج، وهي بارعة في ذلك. لكنها ليست طبقة حوكمة، ومعاملتها كذلك تدمج سطحَي تحكم في أثر واحد بلا إيقاع مراجعة ولا إسناد. والتقسيم ليس مجانيًّا، لكنه الفرق بين نظام يمكن تفسيره ونظام لا يمكن سوى إعادة تدريبه.