فجوة التقييم
لا تزال معظم معايير قياس الوكلاء تُقيّم كامتحان اختيار من متعدد: شغّل الوكيل، قارن إجابته النهائية بمرجع، أصدر درجة. هذا يختزل مسارًا متعدد الخطوات بالكامل إلى بت واحد. يمكن لوكيلين أن يحصلا على 1.0 بينما نفّذ أحدهما عملية نظيفة وقابلة للعكس، والآخر حذف جدول إنتاج، وأعاد المحاولة أربع مرات، ووصل إلى الإجابة الصحيحة بالصدفة. إذا لم يستطع معيار القياس رؤية الفرق، فلن يستطيع الفريق الذي ينشر الوكيل رؤيته أيضًا.
هذا ليس قلقًا نظريًا. تُستخدم أطر الوكلاء بشكل متزايد لمهام ذات آثار جانبية حقيقية: الكتابة إلى قواعد البيانات، استدعاء واجهات برمجة الدفع، تعديل البنية التحتية، إرسال الرسائل. في هذه السياقات، المسار ليس تفصيلًا تنفيذيًا. إنه جزء من المنتج. معيار القياس الذي يتجاهله يُحسّن الشيء الخطأ.
لماذا يفشل التقييم على الإجابة النهائية
يفترض التقييم على الإجابة النهائية أن الإجابة هي المهمة. بالنسبة للإجابة عن الأسئلة، هذا صحيح تقريبًا. بالنسبة للعمل الوكيلي، ليس كذلك. تخيل وكيل بحث يُطلب منه التوفيق بين مجموعتي بيانات. مسار يقرأ الملفين، يحسب الفرق، ويكتب ملخصًا. مسار آخر يقرأ الملفين، يكتب ملفًا وسيطًا في الدليل الخطأ، يعيد المحاولة بمسار مصحح، يقرأ نسخة مخزنة قديمة، وأخيرًا ينتج نفس الملخص. نفس المخرجات. موثوقية مختلفة، تكلفة مختلفة، نطاق تأثير مختلف.
ثلاث خصائص مهمة في الإنتاج غير مرئية للتقييم على المخرجات فقط:
- التكلفة. استخدام الرموز، استدعاءات الأدوات، وزمن الاستجابة الفعلي. وكيل يحل مهمة في استدعاء أداة واحد وآخر يحلها في تسعة ليسا منتجين متكافئين، حتى لو تطابقت الإجابات.
- الآثار الجانبية. كل نظام خارجي تم لمسه، وفي أي حالة نهائية. معيار قياس لا يسجل هذا لا يمكنه التمييز بين وكيل للقراءة فقط ووكيل عدّل الحالة ثم نظّفها.
- قابلية إعادة الإنتاج. ما إذا كان نفس الوكيل على نفس المهمة ينتج نفس المسار عبر البذور. تشغيل ناجح واحد حكاية، وليس قياسًا.
ما يجب تسجيله
يجب أن تكون وحدة التقييم هي المسار، وليس الإجابة. هذا يعني تزويد الوكيل بأدوات لإصدار تتبع إجراءات منظم. كحد أدنى، يجب أن يسجل كل خطوة:
- اسم الأداة ومعاملاتها الكاملة، وليس الاسم فقط.
write_fileليس مفيدًا؛write_file(path="/etc/hosts", mode="append")مفيد. - الملاحظة التي أعادتها الأداة، بما في ذلك حمولات الأخطاء.
- الطوابع الزمنية وأعداد الرموز لكل خطوة.
- الحالة النهائية لكل نظام خارجي لمسه التشغيل: الملفات المنشأة أو المعدلة، الصفوف المدرجة، الرسائل المرسلة، الموارد الموفرة.
قد يبدو مخطط التتبع الأدنى هكذا:
{
"run_id": "...",
"task_id": "...",
"seed": 7,
"steps": [
{
"index": 0,
"tool": "read_file",
"args": {"path": "data/input.csv"},
"observation": {"status": "ok", "bytes": 4096},
"tokens_in": 812,
"tokens_out": 44
},
{
"index": 1,
"tool": "write_file",
"args": {"path": "out/summary.md", "mode": "create"},
"observation": {"status": "ok"},
"tokens_in": 921,
"tokens_out": 130
}
],
"terminal_state": {
"files_created": ["out/summary.md"],
"files_modified": [],
"external_calls": []
},
"retries": 0,
"backtracks": 0
}
المخطط الدقيق أقل أهمية من الانضباط: المعاملات، الملاحظات، والحالة النهائية. بدون المعاملات، لا يمكنك تدقيق النية. بدون الحالة النهائية، لا يمكنك تدقيق العاقبة.
أعداد إعادة المحاولة والتراجع مؤشر مفيد على الهشاشة. الوكيل الذي يصل إلى الإجابة الصحيحة بعد ثلاث محاولات أكثر هشاشة من الذي يصل إليها مباشرة، وأكثر عرضة للفشل تحت تحول التوزيع. يجب الإبلاغ عن هذه الأعداد إلى جانب النتيجة، لا إخفاؤها داخلها.
تقييم المسارات
بمجرد تسجيل المسارات، يصبح التقييم متجهًا بدلًا من قيمة عددية. أربعة أبعاد تغطي معظم اهتمامات الإنتاج:
- النتيجة. هل حقق الوكيل شرط نجاح المهمة؟ هذه هي الدرجة الثنائية أو المتدرجة المألوفة.
- صلاحية المسار. هل احترم المسار قيود المهمة؟ هل كانت الأدوات المستخدمة مناسبة، هل كانت المعاملات سليمة، هل كانت الخطوات الوسيطة متماسكة؟
- نظافة الآثار الجانبية. هل تُركت الأنظمة الخارجية غير المقصودة دون مساس؟ هل طُبقت التغييرات المقصودة مرة واحدة بالضبط، بشكل عاطل عن التكرار، وبالترتيب الصحيح؟
- التكلفة. الرموز، زمن الاستجابة، واستدعاءات الأدوات، مقيسة مقابل مسار مرجعي أو ميزانية.
الإبلاغ عن متجه أكثر إفادة من الإبلاغ عن قيمة عددية، لكنه يعقد لوحات الصدارة. مقايضة صادقة واحدة: درجات المتجهات أصعب في الترتيب. الفريق الذي يهتم بالآثار الجانبية والفريق الذي يهتم بزمن الاستجابة سيزنان الأبعاد بشكل مختلف. يجب أن يعرض معيار القياس المكونات ويترك للمستهلكين التجميع، بدلًا من تضمين وزن واحد يتظاهر بأنه عالمي.
مقايضة ثانية: يتطلب تقييم المسار بيئات مزودة بأدوات. لا يمكنك تسجيل الحالة النهائية لأنظمة خارجية عشوائية دون إما عزلتها أو بناء محولات. هذه تكلفة هندسية حقيقية، وهي السبب في أن العديد من معايير القياس تتجنبها.
البيئات المحجوزة والتباين
تقييم المسار يعمل فقط إذا لم يكن الوكيل قد حفظ التهيئة. البيئات المحجوزة هي الآلية. يجب أن يولد معيار القياس أو يحجز حالات مهام لم يرها الوكيل من قبل، ويفضل أن تكون بمعاملات عشوائية: أسماء الملفات، تخطيطات الأدلة، استجابات واجهة البرمجة، والحالات الأولية. إذا رأى الوكيل التهيئة أثناء التدريب أو الضبط، فإن الدرجة العالية تقيس الاسترجاع، لا القدرة.
الإبلاغ عن التباين مهم بنفس القدر. تشغيل واحد ليس قياسًا. الوكلاء أنظمة عشوائية: درجة حرارة أخذ العينات، ترتيب استدعاء الأدوات، وتوقيت البيئة كلها تقدم تباينًا. يجب أن يشغل معيار القياس كل مهمة عبر بذور متعددة ويبلغ عن توزيع الدرجات، لا المتوسط فقط. متوسط عالٍ مع ذيل طويل من الإخفاقات منتج مختلف عن متوسط أقل قليلًا مع تباين ضيق.
النظام البيئي لمعايير القياس ينضج في هذا الاتجاه. تغطية جهود التقييم الجديدة، مثل عمل Vals على معايير قياس الذكاء الاصطناعي، تعكس اعترافًا أوسع بأن تقييم الوكلاء ليس مثل تقييم النماذج. تُستكمل لوحات الصدارة القائمة على المخرجات فقط بتقييم واعٍ بالعملية، ولسبب وجيه.
آلية ملموسة: أداة إعادة التشغيل المعزولة
إحدى الطرق العملية لتنفيذ تقييم المسار هي أداة إعادة تشغيل معزولة. توفر الأداة بيئة جديدة لكل تشغيل: حاوية بنظام ملفات، خادم واجهة برمجة وهمي، وسياسة شبكة تحجب أو تسجل الاستدعاءات الصادرة. يعمل الوكيل بداخلها. عند الانتهاء، تأخذ الأداة لقطة للبيئة، تقارنها بالحالة الأولية، وتصدر كلاً من تتبع الإجراءات وفرق الحالة النهائية.
لأن البيئة مؤقتة، فإن الآثار الجانبية قابلة للملاحظة ومحتواة. لأن خادم واجهة البرمجة وهمي، يمكن عشوائية الاستجابات لكل بذرة. لأن سياسة الشبكة صريحة، تُسجل الاستدعاءات الخارجية غير المقصودة بدلًا من السماح بها بصمت. ثم تقيّم الأداة التشغيل على المتجه الموصوف أعلاه.
هذا عمل أكثر من تشغيل وكيل مقابل مفتاح إجابة ثابت. وهو أيضًا الحد الأدنى المطلوب لتقديم ادعاءات حول موثوقية الوكيل تصمد أمام الاحتكاك بالإنتاج.
ما يجب الإبلاغ عنه
يجب أن يتضمن تقرير معيار القياس الواعي بالمسار، لكل مهمة:
- درجة النتيجة، مع ذكر شرط النجاح صراحة.
- علامات صلاحية المسار، مع تعداد الانتهاكات المحددة.
- فرق الآثار الجانبية، ملخصًا كأعداد الموارد المنشأة والمعدلة والمحذوفة.
- التكلفة، مفصلة حسب الرموز واستدعاءات الأدوات.
- أعداد إعادة المحاولة والتراجع.
- التباين عبر البذور، مبلغًا عنه كتوزيع بدلًا من رقم واحد.
بالتجميع عبر المهام، يعطي هذا ملفًا شخصيًا بدلًا من ترتيب. الملفات الشخصية أصعب في التسويق. وهي أيضًا أكثر فائدة لتقرير ما إذا كان الوكيل آمنًا للنشر.
الخاتمة
معايير القياس التي تُقيّم المخرجات النهائية فقط تكافئ بشكل منهجي الوكلاء الذين يصلون إلى إجابات صحيحة عبر مسارات غير آمنة أو غير قابلة لإعادة الإنتاج. الإصلاح ليس مفتاح إجابة أفضل. إنه وحدة تحليل مختلفة: المسار، مع المعاملات، الملاحظات، الحالة النهائية، والتكلفة. قيّم على متجه. استخدم بيئات محجوزة. أبلغ عن التباين. تعامل مع تشغيل واحد كحكاية.
المقايضة حقيقية: تقييم المسار أكثر تكلفة في البناء وأصعب في التلخيص. لكن البديل هو لوحة صدارة لا يمكنها التمييز بين وكيل حذر ووكيل محظوظ، وقرار نشر مبني على إشارة خاطئة.