الانتقال إلى المحتوى الرئيسي

باحثو Google يستهدفون حفظ المعايير المرجعية في الوكلاء ذاتية التحسين

Behzat AIagent-evaluationbenchmark-contaminationself-improvementllm-agentseval-hygiene
لقطة قريبة لرف خوادم بصفوف من أضواء المؤشرات وكابلات الشبكة في مركز بيانات معتم.

أفاد باحثو Google عن طريقة لمنع الوكلاء ذاتية التحسين من حفظ مجموعات الاختبار الخاصة بها. يعالج العمل تلوث المعايير المرجعية أثناء التحسين الذاتي التكراري، وهي الحلقة التي يضبط فيها الوكيل سلوكه مرارًا مقابل مجموعة تقييم ثابتة.

Vintage industrial control panel with analog gauges and dials

يُقوّض هذا النوع من التلوث صلاحية مكاسب القدرات المُبلَّغ عنها. فعندما يُحسّن الوكيل أداءه مقابل الأمثلة نفسها التي يُقيَّم عليها لاحقًا، قد يعكس التحسن المقاس استرجاعًا لمجموعة التقييم بدلًا من قدرة قابلة للتعميم. وعندها تكون النتيجة المُبلَّغ عنها أثرًا ![Macro sMacro photo of porous volcanic rock surface showing textures and patterns

بالنسبة للفرق التي تُطلق أنظمة وكلاء، ينقل هذا نظافة مجموعة التقييم من تفصيل بحثي إلى مسألة هندسية من الدرجة الأولى. تشمل الآثار العملية حجب بيانات التقييم عن أي إشارة للتحسين الذاتي، وتدوير مجموعات التقييم أو إعادة توليدها بين التكرارات، والتعامل مع فحوص التلوث كجزء من بوابة الإصدار بدلًا من تدقيق لاحق. لا تذكر التغطية المتاحة أي المعايير المرجعية استُخدمت، ولا حجم التجارب، ولا الآلية المحددة التي تعتمد عليها الطريقة؛ تبقى هذه التفاصيل غير واضحة من المواد المتاحة.

لنتحدث!