نشرت NVIDIA إرشادات حول تقييم وكلاء الذكاء الاصطناعي، مع تغطية تصف إطارًا يمتد عبر استدعاءات الأدوات الوسيطة والنتائج النهائية للمهام. تظهر المادة على NVIDIA Technical Blog.
بالنسبة للفرق التي تبني أنظمة الوكلاء، فإن التحول المفيد هنا هو وحدة التقييم. معظم أُطر التقييم الحالية تمنح درجة لإجابة واحدة مقابل إجابة مرجعية. سلوك الوكيل ليس كذلك: فالتشغيل هو مسار من القرارات، وكل استدعاء أداة خطوة يمكن أن تكون صحيحة أو زائدة أو في ترتيب خاطئ أو مهدرة، ويمكن أن تكون النتيجة النهائية صحيحة لأسباب خاطئة أو خاطئة رغم خطوات وسيطة سليمة. يمنح التمييز في الإطار بين استدعاءات الأدوات الوسيطة وإتمام المهام النهائي الفرق مفردات ملموسة لتقييم كليهما،
](/media/server-rack-closeup-17eeb1-7db751.jpg)
ما لا تحدده التغطية المتاحة هو المجموعة الدقيقة من المقاييس، أو طريقة التقييم، أو أي تنفيذ مرجعي، أو كيفية تعامل الإطار مع التشغيلات متعددة الوكلاء وطويلة الأفق. هذه التفاصيل غير مذكورة في المادة المتاحة ولا يُ asserted هنا. الأثر العملي على تصميم التقييم أضيق لكنه حقيقي: التقييم على مستوى المسار يحتاج إلى أدوات قياس خاصة به، وينبغي قياس الإتمام بشكل منفصل عن المسار المتبع للوصول إليه.