محاسبة التكاليف لتشغيل الوكلاء متعددي الخطوات

الرقم المفقود من معظم لوحات معلومات الوكلاء

اسأل فريق هندسي عن تكلفة مهمة وكيل، وعادةً ما تأتي الإجابة كعدد رموز مضروب في سعر منشور. هذا الرقم سهل الإنتاج ولا يصف تقريبًا أبدًا الشيء الذي يهم العمل. قد تتضمن مهمة واحدة مكتملة مخططًا يفكك الطلب، ومنفذًا يستدعي الأدوات، ومدققًا يتحقق من النتيجة، وحلقة إصلاح تعمل عند فشل التحقق. كل من هذه هو استدعاء نموذج منفصل، غالبًا لنموذج مختلف، وأحيانًا لنفس المطالبة بسياق متحور قليلاً. يجمع عداد الرموز كل ذلك في بند واحد ويزيل البنية.

بدون هذه البنية، تصبح قرارات التبني تخمينًا. لا يمكن للفريق أن يقول ما إذا كان رفع سقف إعادة المحاولة قد حسّن معدلات الإنجاز بما يكفي لتبرير الإنفاق الإضافي، لأن الإنفاق الإضافي غير منفصل عن خط الأساس. لا يمكنه القول ما إذا كان ينبغي لنموذج أرخص التعامل مع فئة مهمة فرعية، لأنه لا يملك إشارة جودة أو تكلفة لكل مهمة فرعية. الوحدة المهمة هي التكلفة لكل مهمة ناجحة، محسوبة جنبًا إلى جنب مع التكلفة لكل مهمة متروكة، والطريقة الوحيدة للوصول إلى ذلك هي قياس التشغيل نفسه.

المهمة الواحدة هي العديد من الاستدعاءات

الوكيل متعدد الخطوات هو برنامج يتم تحديد تدفق التحكم فيه في وقت التشغيل. قد يصدر المخطط خمس خطوات أو خمس عشرة. قد يستدعي المنفذ أداة بحث مرة واحدة أو يتكرر حتى ينفد Budget. قد يمر المدقق من المحاولة الأولى أو يثير إصلاحين. ترى محاسبة الرموز مجموع هذه الاستدعاءات؛ ولا ترى أي دور أنتجها، أو أي مهمة تنتمي إليها، أو ما إذا كانت المهمة قد انتهت. لذا فإن الارتفاع في الإنفاق الإجمالي غامض: قد يكون المزيد من الحركة، أو المزيد من إعادة المحاولات، أو تغيير في المطالبة ضخّم السياق في كل استدعاء.

إعادة المحاولات واستدعاءات الأدوات الفاشلة يتم تحصيلها ولكنها غير مرئية

يتم تحصيل الأعمال الفاشلة تمامًا مثل الأعمال الناجحة. استدعاء أداة ينتهي وقته بعد أن يكون النموذج قد أنتج بالفعل حمولة وسيطة طويلة قد استهلك رموزًا ولم ينتج شيئًا. رفض المدقق الذي يثير إعادة تخطيط كاملة يضاعف تكلفة المخطط. في التقارير لكل رمز، تظهر هذه كحجم عادي. في دفتر الأستاذ لكل مهمة، تظهر كفئة مميزة، وهذا ما يجعلها قابلة للإصلاح.

التخزين المؤقت وإعادة استخدام السياق يغيران السعر الفعلي

التخزين المؤقت للمطالبة وإعادة استخدام السياق يغيران التكلفة الفعلية للاستدعاء بعوامل كبيرة، وتعتمد العوامل على الترتيب واستقرار البادئة ومقدار السياق المشترك بين الأدوار. يمكن لنظام يحتفظ بمطالبة نظام مستقرة ويضيف سياقًا خاصًا بالمهمة أن يدفع أقل بكثير لكل استدعاء من نظام يعيد بناء المطالبة في كل مرة، حتى عندما تكون أعداد الرموز المرئية متشابهة. أي نموذج تكلفة يتجاهل سلوك التخزين المؤقت سيخطئ في تسعير التصميمين مقابل بعضهما البعض. النتيجة العملية هي أن هندسة المطالبة قرار تكلفة، وليس فقط قرار جودة.

Detailed view of a dark electronic audio interface with knobs and buttons.

قم بقياس كل استدعاء بمعرّف مهمة وتسمية دور

الأساس هو معرّف ارتباط يبقى طوال التشغيل. يتم وسم كل استدعاء نموذج، وكل استدعاء أداة، وكل بدء sandbox بمعرّف المهمة وتسمية دور مثل المخطط أو المنفذ أو المدقق أو الإصلاح. هذا هو التتبع الموزع العادي المطبق على حلقة الوكيل، وهو الفرق بين تقرير التكلفة ونموذج التكلفة.

# Pseudocode: one record per model call, joined later by task_id
record = {
    "task_id": task_id,
    "role": "executor",
    "model": model_name,
    "input_tokens": prompt_tokens,
    "cached_tokens": cached_prefix_tokens,
    "output_tokens": completion_tokens,
    "attempt": attempt_index,
    "latency_ms": elapsed_ms,
    "outcome": "ok" | "tool_error" | "verifier_reject",
}

حقل outcome هو ما يسمح لاحقًا للفريق بفصل تكلفة القيام بالعمل عن تكلفة القيام به مرتين. حقل cached_tokens هو ما يحافظ على صدق النموذج بشأن السعر الفعلي.

احسب التكلفة لكل مهمة مكتملة والتكلفة لكل مهمة متروكة بشكل منفصل

المتوسطات على جميع المهام تمزج بين مجموعتين لهما اقتصاديات مختلفة. المهمة المكتملة هي أصل؛ والمهمة المتروكة هي خسارة صافية، وعادةً ما تكون الأكثر تكلفة بين الاثنين لأن الترك يرتبط بالحلقات. الإبلاغ عنهما معًا ينتج رقمًا يجعل النظام يبدو أفضل كلما كان الترك مرتفعًا، لأن التشغيلات الفاشلة تسحب المتوسط إلى الأسفل بينما لا تساهم بشيء.

قسّم دفتر الأستاذ:

التكلفة لكل مهمة مكتملة — إجمالي الإنفاق على المهام التي وصلت إلى حالة نهائية تم التحقق منها، مقسومًا على عددها.
التكلفة لكل مهمة متروكة — إجمالي الإنفاق على المهام التي وصلت إلى حد ميزانية أو مهلة أو خطأ غير قابل للاسترداد، مقسومًا على عددها.
معدل الترك — النسبة بين المجموعتين، يتم تتبعها كمقياس من الدرجة الأولى إلى جانب الجودة.

يمكن لنظام تحسين تكلفته لكل مهمة مكتملة بينما يزداد سوءًا بشكل عام، إذا ترك المزيد من المهام الصعبة. فقط زوج الأرقام، بالإضافة إلى

استدعاءات النماذج ليست الفاتورة كاملة. لاستدعاءات الأدوات سعرها الخاص: استدعاءات API الخارجية، ووقت sandbox أو الحاوية، واستعلامات مخزن المتجهات، وتخزين الكائنات للقطع الأثرية، والحوسبة المستهلكة في تحليل والتحقق من مخرجات الأداة. غالبًا ما تكون هذه أكبر من إنفاق النموذج للوكلاء الذين يعتمدون بشكل كبير على الأدوات، وهي دائمًا تقريبًا مفقودة من لوحات معلومات الوكلاء. انسبها إلى نفس معرّف المهمة وتسمية الدور بحيث يمكن لاستعلام واحد الإجابة عن التكلفة الفعلية للمهمة من البداية إلى النهاية.

Detailed view of an industrial conveyor belt system used in manufacturing and production settings.

الانضباط المفيد هو الاحتفاظ بمخطط تكلفة بأبعاد صغيرة وثابتة — معرّف المهمة، الدور، فئة المورد، النتيجة — ورفض إضافة أبعاد لا يمكن تعبئتها بشكل موثوق. نموذج التكلفة الذي به فجوات أسوأ من نموذج خشن، لأنه يدعو إلى دقة زائفة.

وجّه المهام الفرعية حيث يتم قياس فرق الجودة

بمجرد أن تُنسب التكلفة حسب الدور، يصبح التوجيه سؤالًا تجريبيًا بدلاً من مسألة ذوق. النمط هو إرسال مهام فرعية ضيقة ومحددة جيدًا إلى نماذج أصغر وحجز النماذج الأكبر للتخطيط والتوليف الغامض والتحقق. القيد هو أن فرق الجودة يجب قياسه على توزيع المهام الفعلي، وليس افتراضه من درجات المعايير. تغيير التوجيه هو فرضية: نفس مجموعة المهام، نفس المدقق، قارن معدل الإنجاز والتكلفة لكل مهمة مكتملة قبل وبعد.

هنا أيضًا تكمن المقايضة الصادقة. التوجيه العدواني يخفض التكلفة لكل استدعاء ويرفع عدد حلقات الإصلاح، لأن النماذج الأضعف تنتج المزيد من رفض المدقق. يمكن أن يكون التأثير الصافي في أي من الاتجاهين، ولا يكون مرئيًا إلا عندما تُنسب تكلفة الإصلاح إلى قرار التوجيه الذي تسبب فيه. تميل الفرق التي تتخطى القياس إلى التذبذب بين تكوينين بناءً على الحكايات.

تعامل مع استنفاد الميزانية كإشارة توجيه

ميزانية المهمة الواحدة أكثر فائدة كإشارة تحكم من كونها توقفًا صارمًا. عندما تستنفد مهمة ميزانيتها، يحمل هذا الحدث معلومات: فئة المهمة أصعب مما كان مفترضًا، أو أن المخطط يفرط في التفكيك، أو أن المنفذ يتكرر على أداة لن تعيد نتيجة قابلة للاستخدام أبدًا. تسجيل الاستنفاد مع تفصيل الأدوار في لحظة الاستنفاد يحول الفشل إلى مدخل توجيه. تستجيب بعض الأنظمة بالتصعيد إلى نموذج أقوى لتلك الفئة؛ ويستجيب آخرون بتشديد سقف خطوات المخطط. كلاهما مشروع؛ ولا يمكن اكتشاف أي منهما بدون دفتر الأستاذ.

أبلغ عن تراجعات التكلفة بجانب تراجعات الجودة

الجودة والتكلفة تتحركان معًا، ومراجعتهما بشكل منفصل يضمن تحسين أحدهما على حساب الآخر. تغيير في المطالبة يرفع معدل الإنجاز بضع نقاط بينما يضاعف تكلفة الإصلاح ثلاث مرات هو مقايضة، وليس فوزًا، ويجب تقديمه على هذا النحو. ناتج المراجعة هو جدول صغير لكل إصدار: معدل الإنجاز، معدل الترك، التكلفة لكل مهمة مكتملة، التكلفة لكل مهمة متروكة، والتفصيل على مستوى الدور لأي تغيير. التراجعات في أي من العمودين تحظر الإصدار أو يتم قبولها صراحةً بسبب مكتوب.

ما الذي يغيره هذا

التحول من محاسبة الاستهلاك إلى محاسبة النتائج. يبقى إنفاق الرموز مدخلًا مفيدًا، لكنه مكوّن، وليس وحدة قيمة. بمجرد أن تُنسب التكلفة لكل مهمة، ولكل دور، ولكل نتيجة، تصبح الأسئلة التي تحتاج الفرق فعلاً للإجابة عنها قابلة للمعالجة: أي فئات المهام تستحق الأتمتة، وأين يكون النموذج الأصغر جيدًا بما يكفي، وأي أنماط الفشل مكلفة، وما إذا كان تحسين الجودة قد دفع ثمنه. هذه هي الأسئلة التي تحدد ما إذا كان نشر الوكيل ينجو من التلامس مع الميزانية.

اقتصاديات الوحدة لتشغيل الوكيل: محاسبة التكاليف للأنظمة متعددة الخطوات