نماذج تسجيل القرارات لا تلغي سجل السياسات

الادعاء وراء العنوان

وصلت موجة من نماذج القرارات المدمجة. يُقدّم كل من Microsoft-Decision-1 و Drex 1.5 من Nace AI عملية اتخاذ القرار كتسجيل بدلاً من التوليد: عند إعطاء مجموعة من الخيارات وهدف محدد، يُعيد النموذج درجة أو ترتيباً. هذا تحوّل مفيد. التسجيل عملية محدودة. يتطلب مجموعة خيارات ثابتة وهدفاً ثابتاً. وهذا الهدف يجب أن يأتي من مكان ما، وهذا المكان هو مستند سياسة، وليس الأوزان.

الضغط هو المقصد. نموذج بحجم 9B يُسجّل الخيارات هو ضغط لسياسة كتبتها بالفعل. إذا أطلقت نموذجاً دون سجل قرارات مُصدَّر بالإصدارات، فأنت لم تُزل مشكلة الحوكمة. بل نقلتها إلى نقطة تفتيش.

تأمل ما تحتويه نقطة التفتيش. تحتوي على دالة مُتعلَّمة من (السياق، الخيار، الهدف) إلى درجة. دُرِّبت هذه الدالة على أمثلة. تلك الأمثلة تُرمّز خيارات اتخذها شخص ما، تحت سياسة ما، في وقت ما. لا تحمل نقطة التفتيش نص السياسة. بل تحمل ملخصاً إحصائياً لها. عندما تتغير السياسة، لا يُحدّث الملخص نفسه. وعندما تصمت السياسة، يُنتج الملخص رقماً رغم ذلك.

هذا هو نمط الفشل. نموذج التسجيل واثق بحكم بنيته. يُعيد درجة لكل خيار تُعطيه إياه. إذا لم تُعرّف سياستك قاعدة كسر التعادل، سيختلق النموذج واحدة من توزيع تدريبه. الاختراع غير مرئي في المخرجات. إنه مرئي فقط في سجل القرارات، إن احتفظت بواحد، وفقط إذا تضمّن السجل مجموعة الخيارات والهدف الذي أنتج الدرجة.

ما يُلزمك به القرار المُسجَّل فعلاً

كل درجة تُضمّن فئة مقارنة وقاعدة كسر تعادل. فئة المقارنة هي مجموعة الخيارات. إذا لم تُسجَّل مجموعة الخيارات، فالدرجة بلا معنى. درجة 0.82 للخيار A لا تعني شيئاً دون معرفة ما كانت عليه B و C و D. ولا تعني شيئاً دون معرفة الهدف: 0.82 لكفاءة التكلفة قرار مختلف عن 0.82 للاحتفاظ بالعملاء.

قاعدة كسر التعادل هي حيث تقع معظم حوادث الوكيل. النموذج واثق، والسياسة صامتة. يُسجّل خياران ضمن نطاق ضيق. يختار النموذج الأعلى. لم تقل السياسة أبداً أي بُعد يهيمن عندما تكون الدرجات متقاربة. يقول تقرير الحادث إن الوكيل اتخذ خياراً غير متوقع. السبب الجذري هو صف مفقود في سجل.

درجة بدون مجموعة خيارات مُسجَّلة لا يمكن إعادة تشغيلها بعد وقوع الحدث. تتطلب إعادة التشغيل نفس المدخلات: نفس مخطط الخيارات، نفس الهدف، نفس العتبة. إذا تغيّر مخطط الخيارات بين القرار والتدقيق، فالدرجة غير قابلة لإعادة الإنتاج. إذا حُرّر الهدف في قالب prompt، فالدرجة غير قابلة لإعادة الإنتاج. إذا كانت العتبة hyperparameter ضُبطت أثناء التقييم، فالدرجة غير قابلة لإعادة الإنتاج.

هذه ليست مشكلة نموذج. إنها مشكلة أثر. النموذج هو وقت التشغيل. السجل هو الأثر.

السجل هو الأثر، والنموذج هو وقت التشغيل

سجل القرارات هو سجل مُصدَّر بالإصدارات للقرارات المسموح للوكيل باتخاذها. له ثلاثة أجزاء يجب أن تُصدَّر بإصدارات منفصلة عن نقطة التفتيش:

• مخطط الخيارات: ما الخيارات الموجودة، وكيف تُعرَّف، وما الحقول التي يحملها كل خيار.
• الهدف: الأبعاد التي تُسجَّل، وأوزانها النسبية، واتجاه التفضيل.
• كسر التعادل: القاعدة التي تحل التعادلات المتقاربة، بما في ذلك العتبة التي تُعرّف التعادل المتقارب.

تصدير هذه الأجزاء بإصدارات منفصلة مهم لأنها تتغير بمعدلات مختلفة. تتغير نقطة التفتيش عند إعادة التدريب أو تبديل النماذج. يتغير مخطط الخيارات عندما يضيف العمل فئة منتج جديدة. يتغير الهدف عندما تُ.jpg)حادث ثغرة.

تعامل مع عتبات الدرجات كإعدادات لها مالك، لا كـ hyperparameter. العتبة هي بيان سياسة: تحت هذه الدرجة، صعّد إلى إنسان؛ فوقها، تصرّف. هذا البيان يحتاج إلى اسم، وإصدار، وشخص أو دور مسؤول عنه. إذا كانت العتبة تعيش في نص تدريب، فستنحرف مع النموذج. وإذا كانت تعيش في ملف إعدادات له مالك، فيمكن مراجعتها.

سجّل مجموعة الخيارات إلى جانب الدرجة حتى يتمكن المدقق من إعادة بناء القرار. يجب أن يتضمن سجل التدقيق إصدار السجل، ومعرّفات الخيارات، وإصدار الهدف، وإصدار العتبة، والدرجات الخام. بهذا السجل، يمكن للمدقق إعادة تشغيل القرار مقابل نفس السجل ورؤية ما إذا كانت مخرجات النموذج متسقة مع السياسة. بدونه، لا يمكن للمدقق سوى فحص النموذج، وهو ما يخبره بما قد يفعله النموذج، لا بما فعله.

آلية ملموسة: مخطط سجل قرارات يخزّن hash السجل مع كل قرار. يغطي الـ hash مخطط الخيارات، والهدف، وكسر التعادل. عندما يتغير السجل، يتغير الـ hash. تبقى القرارات المتخذة تحت السجل القديم قابلة للاستعلام تحت الـ hash القديم. هذه قطعة هندسية صغيرة. إنها الفرق بين قرار قابل لإعادة التشغيل وقصة معقولة.

قاعدة تصميم

إذا لم يكن القرار قابلاً للتعبير كصف في سجل، فلن يجعله نموذج التسجيل قابلاً للحوكمة. الصف هو الاختبار. يُجبرك على تسمية الخيارات، والهدف، وكسر التعادل. إذا لم تستطع تسميتها، فليس لديك سياسة. لديك أمل أن يتطابق توزيع تدريب النموذج مع نيتك.

تنتمي نماذج القرارات إلى ما خلف السجل، لا إلى مكانه. يُعرّف السجل فضاء القرار. يُسجّل النموذج ضمنه. يطبّق وقت التشغيل العتبة ويسجّل النتيجة. هذا الترتيب يُبقي السياسة مرئية والنموذج قابلاً للاستبدال. يمكنك تبديل مُسجّل 9B بمُسجّل 9B آخر، أو بنموذج أكبر، دون إعادة كتابة السياسة. يمكنك تحديث السياسة دون إعادة تدريب النموذج.

المقايضة حقيقية. صيانة سجل هي عمل. تتطلب مخططاً، وعملية مراجعة، وخط أنابيب تسجيل. تُبطئ النشر الأول. الفرق التي تتخطاه تُطلق أسرع وتُراكم ديناً غير مرئي: قرارات لا يمكن إعادة تشغيلها، وعتبات لا يملكها أحد، وكسر تعادل يعيش فقط في أوزان النموذج. يستحق الدين عند مراجعة حادث أو تدقيق، عندما لا يكون السؤال ما يستطيع النموذج فعله بل ما فعله.

نماذج التسجيل تحسين حقيقي على التوليد الحر للقرارات المحدودة. تجعل المخرجات قابلة للمقارنة والعملية أرخص. لكنها لا تجعل السياسة تختفي. بل تضغطها. الضغط فاقد. والسجل هو حيث يُسجَّل الفقد.