قراءة الفجوة بشكل صحيح
من الأنماط المتكررة في تقارير الذكاء الاصطناعي المؤسسي وجود نسبة واسعة بين المقاعد المخصصة والجلسات المكتملة فعلياً. الرقم الرئيسي يتغير حسب الاستطلاع، لكن الشكل ثابت: تراخيص كثيرة، ومهام منجزة قليلة. الغريزة تقود إلى قراءة هذا كمشكلة حماس — مُنح المستخدمون صلاحية الوصول ولم يستخدموها. هذه القراءة خاطئة عادةً.
النسبة الكبيرة بين المقاعد والجلسات المكتملة إشارة إلى تصميم المهمة. عندما يُربط وكيل بمسار عمل لا يوجد له شرط إكمال واضح، لا تفشل الجلسة بصوت عالٍ. بل تتعطل. يفتح المستخدم الأداة، ويحصل على نتيجة وسيطة تبدو معقولة، ولا يستطيع تحديد ما إذا كان العمل قد انتهى، فيعود إلى الطريقة السابقة. يُستهلك الترخيص. ولا يكتمل شيء. المقياس الذي يعدّ التراخيص يسجل المشتريات، وليس ما إذا كان الوكيل قد أنهى أي شيء.
تستمر الفجوة عبر الموردين وعبر أجيال النماذج. لو كانت مشكلة جودة منتج، لضاقت مع تحسن النماذج. لكنها لم تضق بشكل متناسب. هذا الثبات يشير إلى سبب هيكلي: وحدة العمل التي أُعطيت للوكيل هي الحجم الخاطئ.
فكّك قبل أن تفوّض
قبل اختيار النموذج، فكّك سير العمل. التقسيم المفيد ليس حسب القسم أو حسب الأداة. بل حسب ما إذا كانت الخطوة تملك شرط إكمال قابلاً للتحقق.
تملك الخطوة شرط إكمال قابل للتحقق عندما يستطيع طرف ثالث — سكربت، أو مراجع، أو فحص مخطط — النظر إلى المخرجات والاتفاق على ما إذا كانت منتهية. أمثلة: استخرج هذه الحقول الاثني عشر من هذا المستند إلى هذا المخطط؛ صنّف هذه التذاكر وفق هذا التصنيف؛ صِغ رداً يستشهد فقط بمصادر من هذه المجموعة؛ طابق هاتين القائمتين وأشر إلى عدم التطابق. هذه الخطوات يمكن تسليمها لوكيل، لأن الوكيل يمكن تقييمه على الخطوة، لا على المهمة كاملة.
لا تملك الخطوة شرط إكمال قابل للتحقق عندما يكون تعريف الإنجاز في ذهن شخص أو في معيار غير مكتوب. أمثلة: قرر ما إذا كان هذا العقد مقبولاً؛ اختر أي من ثلاث استراتيجيات تتبع؛ احكم ما إذا كان هذا العميل في خطر. هذه الخطوات تحتاج نقطة قرار بشري، أو تحتاج إلى تضييق حتى يصبح لها مخرج قابل للفحص. "قرر ما إذا كان هذا العقد مقبولاً" يصبح "استخرج البنود التي تختلف عن القالب القياسي وأشر إليها" — وهذا قابل للفحص — يتبعه قرار بشري.
معظم عمليات النشر الفاشلة تربط وكيلاً بسير عمل كامل بدلاً من خطوة محدودة داخله. يُطلب من الوكيل أن يملك عملية من البداية إلى النهاية. ولأن العملية لا تملك شرط إكمال واحداً، لا يستطيع الوكيل معرفة متى يتوقف، ولا يستطيع المستخدم ذلك أيضاً. تنتهي الجلسة في غموض، يُسجَّل كعدم استخدام.
آلية ملموسة: عقد الخطوة المحدودة
إحدى طرق جعل هذا عملياً هي عقد الخطوة المحدودة. لكل خطوة مرشحة، اكتب أربعة أشياء قبل اختيار أي نموذج:
- المدخل الذي تستهلكه الخطوة، بشكل ثابت؛
- المخرج الذي تنتجه الخطوة، بشكل ثابت؛
- الفحص الذي يحدد ما إذا كان المخرج مقبولاً؛
- مسار التصعيد عند فشل الفحص.
إذا تعذر كتابة أي من الأربعة، فالخطوة غير جاهزة لوكيل. هذا ممل عن قصد. يجبر التفكيك على الحدوث في وقت التصميم بدلاً من اكتشافه أثناء التجربة.
يمنحك العقد أيضاً شيئاً يمكن قياسه. لأن شكل المخرج والفحص صريحان، يمكنك تسجيل مكان فشل الخطوة بدلاً من تسجيل فشلها فقط. هذا هو الفرق بين نشر يمكنك تصحيحه ونشر لا يمكنك سوى التخلي عنه.
قياس التسرب
لوحات التبني تسجل عادةً ما إذا انتهت الجلسة بن
جلسة تُركت عند الخطوة الثانية إشارة مختلفة عن جلسة تُركت عند الخطوة التاسعة. التخلي عند الخطوة الثانية يعني عادةً أن الخطوة حُدد نطاقها بشكل خاطئ — شكل المدخل لم يطابق الواقع، أو كان الفحص مستحيل الإرضاء. التخلي عند الخطوة التاسعة يعني عادةً أن الخطوة حُدد نطاقها بشكل صحيح لكن سير العمل المحيط لم يكن جاهزاً: المخرج لم يكن له مكان يذهب إليه، أو نقطة القرار البشري في المصب لم يكن لها موظفون.
القياس عن بعد على مستوى المسار يحوّل إحصائية تبني إلى مدخل تصميم. بدلاً من السؤال "هل تبنى المستخدمون الأداة"، تسأل "أي خطوة في سير العمل هذا تفقد الجلسات، وما القاسم المشترك بينها وبين الخطوات الأخرى التي تفقد الجلسات". السؤال الثاني له جواب يغيّر التصميم. الأول لا.
من الأنماط العملية تسجيل مؤشر الخطوة عند نهاية الجلسة إلى جانب نتيجة الفحص عند تلك الخطوة. على مدى أسابيع قليلة ينتج هذا منحنى تسرب لكل خطوة في سير العمل. الخطوات ذات التسرب العالي والفحص الفاشل هي أخطاء تفكيك. الخطوات ذات التسرب العالي والفحص الناجح هي أخطاء تكامل. الاثنان يتطلبان إصلاحات مختلفة، وعلم النجاح/الفشل لا يستطيع التمييز بينهما.
الاستنتاج غير المريح
بعض مسارات العمل لا ينبغي أن يكون فيها وكيل على الإطلاق. قول ذلك أرخص من تجربة أخرى. تجربة تستمر ربع سنة وتخلص إلى "المستخدمون لم يتبنوها" تكلف نفس تكلفة مراجعة تصميم تخلص إلى "سير العمل هذا لا يملك خطوات محدودة تستحق الأتمتة" — إلا أن مراجعة التصميم تنتهي أسرع وتترك سير العمل سليماً.
المقايضة حقيقية وتستحق الذكر بوضوح. التفكيك يستغرق وقتاً قبل تقديم أي قيمة، وقد يخلص إلى أن الجواب لا. النشر بقيادة المورد يقدم الوصول فوراً ويؤجل السؤال. لفريق تحت ضغط لإظهار التقدم، الخيار الثاني أكثر جاذبية. وهو أيضاً الخيار الذي ينتج فجوة الاستخدام.
لدى الموردين حافز للإبلاغ عن المقاعد، لأن المقاعد هي ما يبيعونه. ويحتاج المشترون للإبلاغ عن وحدات العمل المكتملة، لأن العمل المكتمل هو ما يستهلكونه. سيفترق هذان المقياسان، والافتراق ليس فضيحة. إنه عدم تطابق في القياس يصبح مشكلة فقط عندما يتبنى المشتري مقياس المورد كمقياسه الخاص.
المقياس الذي يجب مراقبته هو الاستخدام المتكرر على نفس الخطوة المحدودة. تسجيلات الدخول في الأسبوع الأول تقيس الفضول. الاستخدام المتكرر على خطوة ذات مخرج قابل للفحص يقيس ما إذا كانت الخطوة أفضل فعلاً مع وكيل فيها. إذا استُخدمت الخطوة مرة ثم تُركت، كان التفكيك خاطئاً. وإذا استُخدمت بشكل متكرر من نفس الأشخاص، فالخطوة محددة النطاق بشكل صحيح والعقد صامد.
هذه طريقة أبطأ لتبني الوكلاء. وهي أيضاً الطريقة الوحيدة للتمييز بين سير عمل يحتاج نموذجاً أفضل وسير عمل يحتاج شكلاً مختلفاً.