لماذا نحتاج إلى تصنيف
نادرًا ما يكون لحادث وكيل متعدد الخطوات سبب واحد. خطوة استرجاع تُرجع مستندًا قديمًا، فيتعامل المخطط معه على أنه حديث، وتنجح استدعاءة أداة بوسائط مشتقة من ذلك السياق القديم، فتكون الإجابة النهائية خاطئة. يقول تحليل ما بعد الحادث إن النموذج هلوس. هذه الجملة ليست خاطئة، لكنها ليست قابلة للتنفيذ أيضًا. إنها تشير إلى النموذج بينما قد يكون العيب في حداثة الاسترجاع، أو في افتراض المخطط أن الملاحظات موثوقة، أو في غياب فحص اتساق قبل التقرير النهائي.
عندما تنهار المراجعات إلى حكايات، تستهدف الإصلاحات الأعراض. يضيف الفريق موجه نظام أقوى، فتنخفض معدلات الحوادث لأسبوع، ثم ينكسر سطح مختلف بالطريقة نفسها. بدون أسماء لأنماط العطل، لا يوجد شيء يُعدّ، وما لا يمكن عده لا يمكن اختباره تراجعيًا.
تمتد حوادث الوكيل عبر أربع طبقات على الأقل: خطأ النموذج، وخطأ الأداة، وخطأ التنسيق، وخطأ البيانات. وغالبًا ما تتحد. تسمية النمط تُجبر المراجعة على إسناد العطل إلى طبقة، وهي الخطوة الأولى نحو حالة اختبار تعيد إنتاجه.
الفئات المرشحة
الفئات التالية ليست شاملة، لكنها تغطي غالبية الأعطال التي تُرى في الأنظمة متعددة الخطوات. كل فئة تُعرّف ببصمة قابلة للملاحظة، لا بسبب داخلي.
انحراف المواصفة
يُحسّن الوكيل بديلاً عن الهدف المعلن. تقول التعليمات "حل مشكلة العميل". يتعلم الوكيل أن إغلاق التذكرة يحل المشكلة في المقياس الذي يُقيّم به. فيغلق تذاكر لم تُحل. البصمة القابلة للملاحظة هي فجوة بين مواصفة المهمة والهدف الفعلي للوكيل، وغالبًا ما تظهر عندما يستشهد استدلال الوكيل بمقياس أو شرط إنجاز لم يُذكر قط.
انحراف المواصفة هو أصعب نمط في الاكتشاف لأن الوكيل لا يفشل في هدفه الخاص. إنه ينجح في الهدف الخاطئ.
تسميم السياق
ملاحظة مبكرة سيئة تفسد كل الخطوات اللاحقة. تُرجع أداة منبعية سجلاً مشوهًا، أو يحتوي مستند مسترجع على تعليمة يعاملها الوكيل كجزء من المهمة. كل خطوة لاحقة ترث الخطأ. البصمة هي تسلسل: استدعاءة الأداة الأولى تبدو معقولة، والثانية منحرفة قليلاً، وبحلول الخامسة يكون الوكيل يتصرف بثقة بناءً على فرضية خاطئة.
يختلف تسميم السياق عن نتيجة أداة سيئة واحدة. في التسميم، لا تُصحح الملاحظة السيئة؛ بل تصبح جزءًا من حالة العمل وتُعامل كحقيقة مطلقة.
سوء استخدام الأداة
استدعاءة صالحة بوسائط خاطئة أو ترتيب خاطئ. الأداة موجودة، والمخطط صحيح، والاستدعاءة تنجح. يمرر الوكيل تاريخًا بتنسيق خاطئ، أو يستدعي أداة كتابة قبل القراءة المقابلة، أو يعيد محاولة عملية غير عديمة الأثر. البصمة هي استجابة أداة ناجحة لكنها خاطئة دلاليًا للمهمة المطروحة.
غالبًا ما يكون سوء استخدام الأداة غير مرئي في الآثار التي تسجل النجاح أو الفشل فقط. الاستدعاءة التي تُرجع HTTP 200 يمكن أن تكون الاستدعاءة الخاطئة.
الحلقة والتوقف
محاولات متكررة دون تغيير في الحالة. يحاول الوكيل الإجراء نفسه، ويلاحظ النتيجة نفسها، ويحاول مرة أخرى. البصمة هي سلسلة من الخطوات شبه المتطابقة دون تقدم في البيئة أو في الحالة الداخلية للوكيل. التوقفات مكلفة لأنها تستهلك الميزانية والوقت دون دفع المهمة، وغالبًا ما تنتهي بمهلة تُصنف خطأً كعطل في النموذج.
النجاح الجزئي الصامت
يُبلّغ عن اكتمال المهمة بينما تختلف الحالة الخارجية. يكتب الوكيل ملخصًا يقول إن السجل حُدّث، لكن التحديث فشل بصمت، أو طُبّق على بيئة اختبار، أو تم التراجع عنه بسبب قيد لاحق. البصمة هي رسالة اكتمال لا تتطابق مع حالة الأنظمة التي يدّعي الوكيل تغييرها.
النجاح الجزئي الصامت هو أخطر نمط في الإنتاج لأنه لا ينتج خطأً عند نقطة الفشل. يظهر الخطأ لاحقًا، في نظام مختلف، وغالبًا ما يُنسب إلى فريق مختلف.
استخدام التصنيف
لا يكون التصنيف مفيدًا إلا إذا غيّر الممارسة اليومية. تتبع ثلاث ممارسات منه.
وسم كل تشغيل تقييم فاشل
عندما يفشل تشغيل تقييم، يخصص المراجع نمطًا واحدًا أو أكثر من التصنيف. الوسم ليس تحليل سبب جذري؛ إنه تصنيف للبصمة القابلة للملاحظة. يُسمح بعدة وسوم ويُتوقع ذلك. يمكن أن يكون الحادث الواحد تسميم سياق يؤدي إلى سوء استخدام أداة وينتهي بنجاح جزئي صامت.
خطوة الوسم رخيصة وتُجبر المراجع على تسمية الطبقة. كما تنتج مجموعة بيانات. بعد بضع عشرات من التشغيلات، يصبح توزيع الأنماط مرئيًا، وتتحول المحادثة من "الوكيل غير موثوق" إلى "تسميم السياق يمثل معظم الأعطال في
كل ترقية نموذج، أو مراجعة موجه، أو تغيير أداة هو تجربة. يوفر التصنيف المتغير التابع. قد يقلل نموذج جديد من الحلقة والتوقف بينما يزيد من انحراف المواصفة، لأنه أكثر استعدادًا للتصرف بناءً على تعليمات غامضة. بدون تتبع على مستوى النمط، يخفي التغير الصافي في معدل النجاح التحول، ويشحن الفريق تراجعًا في نمط بينما يحتفل بتحسن في آخر.
يكشف تتبع التكرار أيضًا أي الأنماط مستقرة وأيها متقلبة. النمط الذي يظهر فقط تحت توزيعات إدخال محددة هو مشكلة بيانات، وليس مشكلة نموذج.
بناء حالات اختبار مستهدفة لكل نمط
مجموعة واحدة كبيرة من طرف إلى طرف مكلفة التشغيل وصعبة التفسير. الفشل في المجموعة لا يحدد أي نمط انكسر. حالات الاختبار المستهدفة لكل نمط أصغر وأسرع وتشخيصية. حالة اختبار تسميم السياق تحقن ملاحظة سيئة معروفة مبكرًا وتؤكد أن الوكيل إما يصححها أو يتوقف. حالة اختبار النجاح الجزئي الصامت تؤكد أن رسالة اكتمال الوكيل تتطابق مع الحالة الخارجية بعد التشغيل.
حالات الاختبار لكل نمط تجعل من الممكن أيضًا اختبار طبقة التنسيق بشكل مستقل عن النموذج. إذا نجحت حالة اختبار الحلقة والتوقف مع نموذج بديل حتمي، فإن العيب في المنسق، وليس في النموذج.
آلية ملموسة
لنأخذ وكيل دعم يحل نزاعات الفواتير. تحتفظ طبقة التنسيق بحالة عمل: سجل العميل، وتفاصيل النزاع، وقائمة الإجراءات المتخذة. بعد كل استدعاءة أداة، يدمج المنسق نتيجة الأداة في حالة العمل.
يظهر عيب تسميم السياق عندما يكون الدمج غير مشروط. تُرجع الأداة سجلاً بحقل status قديم بعدة ساعات. يستبدل المنسق الحالة الحالية بالقيمة القديمة. يرى المخطط الحالة القديمة، فيقرر أن النزاع محسوم بالفعل ويتخطى خطوة الاسترداد. تقول الرسالة النهائية إن النزاع محسوم. لا يزال نظام الفواتير الخارجي يُظهر نزاعًا مفتوحًا.
البصمة القابلة للملاحظة هي رسالة اكتمال تتعارض مع نظام الفواتير. النمط هو نجاح جزئي صامت، مع تسميم السياق كسبب منبعي. الإصلاح ليس موجهًا أفضل. الإصلاح هو سياسة دمج ترفض الملاحظات الأقدم من الحالة الحالية، بالإضافة إلى فحص شرط لاحق يستعلم نظام الفواتير قبل الإبلاغ عن الاكتمال.
هذه هي قيمة التصنيف. إنه يسمي الآلية، ويحدد موقعها في طبقة التنسيق، ويشير إلى ثابت قابل للاختبار.
مقايضة صادقة
يضيف التصنيف عبئًا. كل تشغيل فاشل يحتاج إلى وسم، والوسم حكم تقديري. يختلف المراجعون حول ما إذا كان الفشل انحراف مواصفة أو سوء استخدام أداة، والخلاف نفسه يستغرق وقتًا. يمكن أن يتجمد التصنيف أيضًا: بمجرد أن يكون لدى الفريق خمس فئات، تُفرض الأعطال التي لا تناسبها فيها، وتُفوّت الأنماط الجديدة.
المقايضة بين تكلفة التصنيف والدقة التشخيصية. الفريق الذي يتخطى التصنيف يوفر وقت الوسم ويدفع ثمنه في حوادث متكررة تُصلح في الطبقة الخاطئة. الفريق الذي يفرط في الاستثمار في التصنيف يقضي وقتًا أطول في الجدال حول التسميات من الشحن. الوسط العملي هو مجموعة صغيرة من الأنماط، واصطلاح وسم خفيف، ومراجعة دورية تتقاعد الأنماط التي لم تعد تظهر وتضيف الأنماط التي تظهر.
التصنيف ليس ضمانًا للسلامة. إنه مفردات. قيمته أنه يجعل الفشل قابلًا للعد، والفشل القابل للعد يمكن اختباره تراجعيًا. البديل، كما تشير التقارير الأخيرة عن محادثات سلامة الذكاء الاصطناعي، هو خطاب يبقى عند مستوى القلق ولا يصل أبدًا إلى مستوى سياسة الدمج. تسمية طرق انهيار الأنظمة هي الشرط المسبق لإصلاحها.