وهم المعيار المُؤلَّف
تبدأ معظم مجموعات تقييم الوكيل كقائمة مهام يضعها الفريق مسبقًا في ذهنه: احجز رحلة، لخّص مستندًا، حل تذكرة دعم. هذه المهام مفيدة للاختبار السريع، لكنها تشترك في عيب بنيوي. فهي مستمدة من نفس الخيال الذي أنتج الوكيل. والمهام التي فكّر فيها الفريق هي، بحكم التعريف تقريبًا، المهام التي يتعامل معها الوكيل بالفعل. المعيار الذي لا يفشل أبدًا ليس معيارًا؛ إنه مرآة.
الإخفاقات المهمة تعيش في الذيل: ترتيبات استدعاء الأدوات التي لم يتوقعها أحد، عواصف إعادة المحاولة الناتجة عن خدمة أعلى غير مستقرة، الكتابات الجزئية التي تترك الحالة غير متسقة، إصدار نموذج يغيّر بصمت تفسير مخطط. هذه التركيبات لا تُصمم. بل تُكتشف. والمصدر الوحيد الموثوق للإخفاقات المكتشفة هو الإنتاج.
لهذا يجب أن تكون تقييمات الوكيل إعادات تشغيل للحوادث. مجموعة الانحدار ليست مجموعة منسقة من سيناريوهات متخيلة؛ إنها أرشيف متنامٍ من مسارات حقيقية، كل منها نموذج ثابت يشفّر إخفاقًا أظهره النظام فعليًا. التحول ثقافي بقدر ما هو تقني: تصبح مجموعة التقييم ناتجًا ثانويًا للعمليات، لا تمرين تأليف منفصل.
ما تحتويه إعادة تشغيل الحادث فعليًا
الأثر الإنتاجي أغنى من زوج موجه-استجابة. تحتوي إعادة التشغيل القابلة للتنفيذ على أربع طبقات على الأقل:
- حالة الإدخال: طلب المستخدم، سجل المحادثة، السياق المسترجع، وأي حالة محيطة (أعلام الميزات، إعدادات المستأجر، بيانات الجلسة الوصفية).
- تسلسل استدعاء الأدوات: القائمة المرتبة لاستدعاءات الأدوات، بما في ذلك الوسائط، هوية المستدعي، وهدف الخروج.
- الملاحظات الوسيطة: نتائج الأدوات، حمولات الأخطاء، زمن الاستجابة، وأي إعادات محاولة أو بدائل احتياطية.
- الآثار الجانبية النهائية: الإجابة النهائية، وأيضًا الكتابات، رسائل البريد الإلكتروني، التذاكر، أو تغييرات الحالة التي تسبب بها الوكيل.
التقاط هذه الطبقات ضروري لكنه غير كافٍ. يجب أن تكون إعادة التشغيل حتمية. تُستبدل نقاط النهاية الخارجية باستجابات مسجلة؛ تُجمّد الساعات أو تُحقن؛ تُثبّت إصدارات النموذج إلى اللقطة الدقيقة التي أنتجت الأثر. بدون الحتمية، إعادة التشغيل إعادة تمثيل، وإشارة النجاح/الفشل فيها ضوضاء.
دقة إعادة التشغيل هي إذن مشكلة خط أنابيب بيانات قبل أن تكون مشكلة تقييم. الفرق التي تتعامل مع التتبع كفكرة لاحقة تكتشف أن حوادثها غير قابلة لإعادة التشغيل: لم تُسجّل استجابات الأدوات، لم يُسجّل إصدار النموذج، لم تُلتقط الساعة. الإصلاح في المنبع: جهّز الوكيل بحيث يكون كل مسار أثرًا من الدرجة الأولى ومُصدَّرًا بإصدارات.
أداة انحدار بسيطة
الأداة الموصوفة هنا صغيرة عمدًا. تفترض ثلاثة مكونات: مخزن آثار، مشغّل إعادة تشغيل، وبوابة دمج.
خزّن الآثار كعناصر مُصدَّرة بإصدارات
تُخزّن الآثار إلى جانب الكود الذي أنتجها، لا في قاعدة بيانات منفصلة تنحرف. يتضمن عنصر الأثر حالة الإدخال، تسلسل الأدوات، الملاحظات، والآثار الجانبية النهائية، بالإضافة إلى إصدار النموذج وتجزئة إعدادات الوكيل. تصدير العنصر بإصدار يعني أنه يمكن تقييم تغيير في الوكيل مقابل السياق التاريخي الدقيق.
# trace-2025-03-14-001.yaml
trace_id: 2025-03-14-001
agent_config_hash: 9f2c...
model_version: gpt-4.1-2025-04-14
input_state:
user_request: "reconcile invoice 8842"
conversation: [...]
tool_sequence:
- name: fetch_invoice
args: {id: 8842}
result: {status: 200, body: {...}}
- name: post_ledger_entry
args: {amount: 120.00, account: "AR"}
result: {status: 500, error: "timeout"}
terminal_side_effects:
- type: ledger_entry
status: not_written
قيّم على خصائص المسار، لا على الإجابة النهائية فقط
دقة الإجابة النهائية إشارة ضعيفة للوكلاء. الإجابة الصحيحة التي تطلبت استدعاء أداة خطير، خروجًا غير مصرح به، أو عاصفة إعادة محاولة ليست نجاحًا. تقيّم الأداة خصائص المسار:
- مجموعة الأدوات: أي أدوات استُدعيت، وما إذا كان أي منها خارج المجموعة المسموح بها.
- الترتيب: ما إذا كان التسلسل يحترم التبعيات وقيود العدمية.
- أهداف الخروج: أي نقاط نهاية خارجية تم الاتصال بها، وما إذا كانت تطابق قائمة السماح.
- سلوك إعادة المحاولة: كم عدد إعادات المحاولة التي حدثت، وما إذا كانت محدودة.
- اتساق الآثار الجانبية: ما إذا كانت الحالة النهائية متماسكة بالنظر إلى الإخفاقات الوسيطة.
هذه الخصائص قابلة للفحص دون نموذج حكم. إنها حتمية، سريعة، وقابلة للتفسير. إعادة تشغيل تفشل في مجموعة الأدوات أو الخروج هي حادث أمني أو موثوقية، و
تعمل الأداة على كل طلب سحب. البوابة ليست درجة واحدة بل معدل نجاح عبر المجموعة، مع سياسة للانحدارات: أي أثر نجح على الفرع الأساسي وفشل على فرع الرأس يمنع الدمج ما لم يُعفَ صراحةً بسبب مسجل. تُعامل الحوادث الجديدة كعناصر إلزامية جديدة. عند حل حادث، يُضاف الأثر الذي أعاد إنتاجه إلى المجموعة في نفس طلب السحب الذي يحتوي الإصلاح.
هذه هي الآلية التي تحوّل العمليات إلى تقييم. تنمو المجموعة مع سطح الفشل الفعلي للنظام، لا مع خيال الفريق.
التكاليف والحدود
تنمو مجموعة إعادة التشغيل بشكل أحادي. كل حادث يضيف عنصرًا، والعناصر رخيصة التخزين لكن مكلفة التشغيل. المقايضة الصادقة بين التغطية ووقت التشغيل. مجموعة تستغرق ساعة لإعادة تشغيلها ستُتجاهل؛ مجموعة تستغرق دقيقة ستُعيّن بأقل من اللازم. الإجابة العملية هي سياسة تقليم، لا حذف. تُصنّف الآثار إلى طبقات: طبقة سريعة تعمل على كل إيداع (مجموعة فرعية صغيرة عالية الإشارة)، طبقة كاملة تعمل ليلاً، وطبقة أرشيف تُحفظ للاستخدام الجنائي. التقليم قرار سياسي حول أي الإخفاقات لا تزال ممثلة، وليس مشكلة جمع قمامة.
بعض الإخفاقات غير قابلة لإعادة الإنتاج بحكم بنيتها. حالة سباق تعتمد على حالة طرف ثالث حية، تلف بيانات لمرة واحدة، سلوك نموذج لا يمكن تثبيته لأن المزود لا يكشف اللقطات. هذه لا يمكن إعادة تشغيلها بأمانة. الإغراء هو التخلص منها. الممارسة الأفضل هي تسجيلها كعناصر معروفة-مجهولة: أثر مع مالك، وصف للآلية المشتبه بها، وعلامة أنه ليس جزءًا من بوابة النجاح/الفشل. ثم تميّز المجموعة بين ما يُختبر وما يُتذكر فقط.
حد ثانٍ هو أن إعادة التشغيل تقيس الأمانة للماضي، لا الصحة للمستقبل. مجموعة مبنية بالكامل من الحوادث ستفرط في ترجيح أنماط الفشل التي حدثت بالفعل. هذا مقبول لأن البديل — مجموعة مبنية من مهام متخيلة — يفرط في ترجيح أنماط فشل لن تحدث أبدًا. الانضباط هو التعامل مع المجموعة كسجل حي، لا كمواصفة.
التحول التشغيلي
الحجة ليست أن المعايير المُؤلَّفة عديمة الفائدة. إنها مفيدة للتأهيل، للاختبارات السريعة، ولإيصال النية. الحجة هي أنها غير كافية كسطح التقييم الأساسي للوكلاء. الإخفاقات المهمة تُكتشف في الإنتاج، والطريقة الوحيدة لمنع تكرارها هي إعادة تشغيلها.
يتطلب هذا تحولًا في كيفية تعامل الفرق مع الآثار: كعناصر مُصدَّرة بإصدارات، لا كسجلات. ويتطلب تحولًا في كيفية تعامل الفرق مع الحوادث: كعناصر إلزامية، لا حرائق لمرة واحدة. ويتطلب تحولًا في كيفية تعامل الفرق مع التقييم: كأرشيف متنامٍ من مسارات حقيقية، لا كمجموعة ثابتة من مهام متخيلة.
النتيجة هي مجموعة انحدار تعكس السلوك الفعلي للنظام. لن تكون كاملة أبدًا. ستكون دائمًا متأخرة عن الحادث التالي. لكنها ستكون صادقة، وستكون مفيدة.