الرقم المهم ليس الإجمالي
إنفاق سنوي من ستة أرقام على التوكنات لمشغّل واحد ليس إنجازًا يستحق الاحتفال. إنه إشارة إلى أن النظام قد تجاوز النقطة التي يمكن فيها لأي شخص أن يستنتج حالته من متوسط مرجّح. بمجرد أن يصل عبء العمل إلى هذا الحجم، لم يعد السؤال الهندسي المثير هو مقدار استقلالية الوكلاء. بل ما نسبة حركة المرور التي تُوجَّه إلى الطبقة الصحيحة من النماذج، وهل تُقاس هذه النسبة أم تُفترض.
تأمّل كيف يبدو أسطول وكلاء لمستخدم واحد عند هذا المستوى من الإنفاق. معظم الاستدعاءات رخيصة: خطوات تصنيف قصيرة، بناء وسائط استدعاء الأدوات، إعادة ترتيب الاسترجاع، تلخيص استجابة أداة سيتم التخلص منها. وهناك ذيل صغير مكلف: التخطيط طويل الأفق، إصلاح الشيفرة مقابل اختبار فاشل، التوليف متعدد المستندات حيث يتعين على النموذج الاحتفاظ بأدلة متعارضة في السياق. النسبة بين هذين التجمعين هي متغير التصميم. إذا أُرسلت الاستدعاءات الرخيصة إلى الطبقة المكلفة، تضخمت الميزانية دون أي مكسب مقابل في الجودة. وإذا أُرسلت الاستدعاءات المكلفة إلى الطبقة الرخيصة، بدت الميزانية صحية بينما تفشل المهام الصعبة بهدوء.
المتوسط المرجّح يخفي كلا الفشلين. متوسط التكلفة لكل طلب لا يخبرك شيئًا عما إذا كان الأسطول مفرط التجهيز، لأن عددًا صغيرًا من الاستدعاءات الصحيحة المكلفة جدًا وعددًا كبيرًا من الاستدعاءات غير الضرورية المكلفة جدًا ينتجان نفس المتوسط. ما تحتاجه هو توزيع التكلفة لكل مهمة: شكل الإنفاق عبر المهام المكتملة، مقسّمًا حسب فئة المهمة. التوزيع ذو الرأس الرقيق والذيل الثقيل هو نظام يؤدي عمله — عمل رخيص على نماذج رخيصة، وعمل صعب يُصعَّد. أما التوزيع الذي لا ذيل له على الإطلاق فهو مريب. عادةً يعني أن المهام الصعبة لا تُحلّ بتكلفة منخفضة؛ بل تُسقَط أو تُقتطع أو تُهجَر قبل الإكمال، ومنحنى الإنفاق لا يحسب إلا الاستدعاءات التي عادت.
هذا التمييز — بين المكتمل والمحاول — هو حيث تفشل معظم لوحات معلومات التوكنات. فهي تبلغ عن التوكنات لكل طلب لأن هذا ما تعيده واجهة البرمجة. الرقم الذي يحكم ميزانيتك هو التوكنات لكل مهمة مكتملة، والفجوة بين الاثنين هي تكلفة الفشل.
التوجيه مصنّف له ميزانية زمن استجابة
كل طلب في أسطول مبني جيدًا يمر عبر مصنّف مسبق رخيص قبل أن يبدأ الاستدعاء المكلف. يجيب هذا المصنّف عن سؤال واحد: أي طبقة نموذج تحتاجها هذه المهمة؟ يعمل على نموذج صغير، أو طبقة قواعد، أو مقارنة تضمين خفيفة مقابل مجموعة مُعنونة من المهام السابقة. مهمته اتخاذ قرار التوجيه بتكلفة منخفضة بما يكفي بحيث لا يصبح القرار نفسه بندًا في الفاتورة.
للمصنّف ميزانية زمن استجابة إلى جانب ميزانية التكلفة. إذا أضاف التصنيف المسبق رحلات ذهاب وعودة يشعر بها المستخدم، يعطّل المشغلون التصنيف ويوجهون كل شيء إلى النموذج الكبير كإعداد افتراضي. هذه هي الطريقة الأكثر شيوعًا لموت سياسات التوجيه: ليس بسبب سوء التصنيف، بل بسبب زمن استجابة جعل المسار الصحيح بطيئًا جدًا للحفاظ عليه.
التوجيه الخاطئ يأتي من اتجاهين وهما غير متماثلين.
- التوجيه الخاطئ صعودًا هو حدث تكلفة. مهمة كان يمكن لنموذج صغير معالجتها تذهب إلى النموذج الكبير. الجودة جيدة؛ والميزانية تمتص الخطأ. هذه الأخطاء رخيصة الكشف بأثر رجعي عبر إعادة تشغيل المهمة على الطبقة الأرخص.
- التوجيه الخاطئ هبوطًا هو حدث جودة. مهمة كانت تحتاج النموذج الكبير تحصل على إجابة واثقة ومعقولة وخاطئة من النموذج الصغير. هذه الأخطاء مكلفة الكشف لأن الفشل صامت، وتتفاقم عندما يتصرف وكيل بناءً على المخرجات الخاطئة.
يحتاج الاثنان إلى مقاييس منفصلة. رقم "دقة التوجيه" الواحد يجعل أسطولًا لا يصعّد أبدًا يبدو جيدًا كأسطول يصعّد بشكل صحيح. تتبّع معدل التوجيه الخاطئ صعودًا كنسبة تكلفة ومعدل التوجيه الخاطئ هبوطًا كمعدل فشل المهام، ولا تجمعهما أبدًا في رقم واحد.
يجب تقييم المصنّف نفسه على نفس توزيع المهام الذي يراه الوكلاء. هذا هو الجزء الذي يتدهور. المصنّف المدرَّب على حركة مرور الربع الأخير ينحرف مع تغير عبء العمل — أدوات جديدة، أنواع مستندات جديدة، نوايا مستخدم جديدة. الانحراف غير مرئي في الإنفاق الإجمالي لأن الإجمالي يستمر في التحرك لأسباب أخرى. الإصلاح العملي هو شريحة محجوزة من حركة المرور الحقيقية الأخيرة، تُعاد عبر المصنّف وفق جدول زمني، مع مقارنة قرار التوجيه بما كانت الطبقة المكلفة ستنتجه. هذه الإعادة هي المقياس الصادق الوحيد لما إذا كانت السياسة لا تزال صامدة. يواصل العمل المرتبط بتقييم الوكلاء والنشر المدرك للتكلفة التأكيد على الاختبار المطابق للتوزيع بدلًا من درجات المعايير، وهو الحدس الصحيح — فالمعيار يخبرك أن المصنّف يستطيع التصنيف، لا أنه يصنّف حركة مرورك.
ما يجب قياسه
لأدوات القياس في أسطول بهذا الحجم ثلاثة أمور غير قابلة للتفاوض.
سجّل التوكنات لكل مهمة مكتملة، لا لكل طلب. ضع علامة على كل تشغيل بحالة إكمال واجمع الإنفاق فقط على التشغيلات التي وصلت إلى حالة نهائية محددة. التشغيلات غير المكتملة — المهلات، حلقات الأدوات، الخطط المهجورة — هي المكلفة، وتختفي من متوسطات كل طلب لأن كل استدعاء فردي بدا طبيعيًا. التشغيل الذي أحرق سياقًا كبيرًا عبر اثنتي عشرة خطوة ثم فشل هو أغلى كائن منفرد في النظام، ومعظم لوحات المعلومات لا تراه.
تتبّع معدل التصعيد. كم مرة ينتقل التشغيل من نموذج صغير إلى كبير في منتصف المهمة؟ التصعيد هو صمام الأمان الذي يجعل التوجيه الهبوطي الجريء دفاعًا ممكنًا. معدل تصعيد منخفض مع معدل توجيه خاطئ هبوطي مرتفع يعني أن الصمام عالق. معدل تصعيد مرتفع يعني أن المصنّف المسبق يقلل من التقدير وأن الأسطول يدفع ثمن محاولتين حيث تكفي واحدة. المعدل نفسه إشارة صحة توجيه، وليس تكلفة يجب تقليلها.
تعامل مع معدل إصابة الذاكرة المؤقتة كمدخل توجيه. عادةً ما يُصنَّف التخزين المؤقت للمطالبات تحت تحسين البنية التحتية، منفصلًا عن اختيار النموذج. لا ينبغي أن يكون كذلك. إذا كانت فئة مهمة ما لها معدل إصابة ذاكرة مؤقتة مرتفع على بادئتها المستقرة، تنخفض التكلفة الفعلية للنموذج الكبير ويجب أن تتحرك عتبة التوجيه. السياسة التي تتجاهل حالة الذاكرة المؤقتة ستفرط في التوجيه إلى الطبقة الرخيصة بالضبط على أحمال العمل حيث الطبقة المكلفة مخفّضة بالفعل بفعل إعادة الاستخدام. أدرج معدل الإصابة في قرار التوجيه، لا في تقرير شهري.
القاعدة
الميزانية التي لا يمكنك تفكيكها حسب فئة المهمة هي ميزانية لا يمكنك الدفاع عنها في مراجعة. عندما يسأل أحدهم لماذا الإنفاق كما هو، فإن "الوكلاء مشغولون" ليس إجابة. "ستون بالمائة من المهام المكتملة من الفئة B وتعمل على الطبقة الصغيرة بتكلفة مستقرة؛ والذيل هو تشغيلات تخطيط من الفئة D، وهنا معدل التصعيد ومعدل التوجيه الخاطئ هبوطًا على ذلك الذيل" هي إجابة.
قاعدة التشغيل قصيرة: وجّه حسب فئة المهمة، وبوّب حسب الإكمال، ودقّق الذيل شهريًا.
- وجّه حسب فئة المهمة. عرّف الفئات صراحةً، واربط كلًا منها بطبقة، وأبقِ المصنّف مُقيَّمًا مقابل حركة المرور الأخيرة.
- بوّب حسب الإكمال. احسب الإنفاق فقط على التشغيلات التي انتهت. تكلفة الفشل إشارة توجيه، وليست نفقات عامة.
- دقّق الذيل شهريًا. أعد تشغيل أغلى المهام المكتملة على الطبقة الأرخص. كل مهمة تنجح في الإعادة هي توجيه خاطئ صعودًا، والمجموع هو حجم التصحيح المتاح لك.
المقايضة الصادقة هي أن هذه الآلية تستهلك وقتًا هندسيًا وتضيف مكوّنًا حاملًا لزمن الاستجابة أمام كل استدعاء. الفريق الذي يوجّه كل شيء إلى نموذج كبير واحد سيشحن أسرع، وسينفق انتباهًا أقل على أحمال العمل الصغيرة. تتوقف هذه المقايضة عن كونها دفاعًا ممكنًا في مكان ما حول النقطة التي يصل فيها إنفاق مشغّل واحد إلى ستة أرقام — ليس لأن المال كبير بالقيمة المطلقة، بل لأن النظام عند هذا الحجم لديه تنوع مهام كافٍ بحيث تكون طبقة واحدة خاطئة بشكل يمكن إثباته لمعظمه. الميزانية ليست استعراضًا. إنها سياسة، والسياسات قابلة للتدقيق.