ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
أساطيل الوكلاء كأدوات استكشاف: مشكلة التقييم خلف Patch the Planet
تغيّر أساطيل الوكلاء سؤال التقييم من الدقة لكل وكيل إلى المردود لكل ساعة حوسبة ضمن ميزانية إيجابيات كاذبة. معظم معايير تقييم الوكلاء لا تقيس ذلك.
تتبّع اللاحتمية: ما تكشفه Concordance وDeepEval عن تقييم الوكيل
قرارات الوكيل غير المتسقة هي في العادة مشكلة مدخلات مفقودة. ينبغي للتقييم أن يسجّل سياق القرار الكامل ويعيد تشغيله، لا أن يقيّم المخرجات بعد وقوعها.
مجموعات التقييم تتدهور: إصدار النسخ للأداة، وليس للنموذج فقط
الوكلاء ذاتية التحسين التي تحفظ اختباراتها تكشف عيبًا في خط الأنابيب: مجموعات التقييم هي قطع بيانات لها نفس التزامات دورة الحياة التي للكود.
المعايير جيدة؛ لكن أداة التقييم هي المتغير الذي لم تُدِر إصداره
درجة لوحة الصدارة هي نتيجة مشتركة للنموذج ومخططات الأدوات وسياسة إعادة المحاولة وحدود وقت التشغيل. انشر أداة التقييم وإلا فلا معنى للرقم.
فجوة الاستخدام البالغة 8.3x هي مشكلة توافق سير العمل، وليست مشكلة ترخيص
النشر الواسع مقابل الاستخدام الضيق يشير إلى وكلاء مرتبطين بمسارات عمل لم يُحدد نطاقها لهم أصلاً. الحل هو تفكيك سير العمل قبل اختيار النموذج.
تقييمات الوكيل هي إعادة تشغيل الحوادث: بناء مجموعة انحدار من آثار الإنتاج
يجب تنمية مجموعات تقييم الوكيل من المسارات الإنتاجية الملتقطة وإعادات تشغيل الحوادث، لا من مهام متخيلة، لأن الإخفاقات المهمة تُكتشف ولا تُصمم.
ما الذي ينكسر فعلاً عند توسيع سرب وكلاء LLM
تفشل الأنظمة متعددة الوكلاء بسبب آليات التنسيق أكثر مما تفشل بسبب قدرة النموذج. نظرة على الحالة المشتركة وبروتوكولات التسليم ومقايضات التوازي.
استجواب النموذج أسلوب مراجعة، لا سمة شخصية
التعامل مع مخرجات الوكيل بوصفها ادعاءً يستحق الاستجواب، لا نتيجةً تُقبل كما هي، ممارسة تقييم قابلة للتكرار يمكن للفرق أن تكرّسها.
تلوث المعايير هو خلل في خط أنابيب البيانات: إدارة إصدارات مجموعات التقييم كالكود
غالبًا ما تكون إخفاقات تقييم الوكيل التي تُعزى إلى ضعف النموذج ناتجة عن إخفاقات في نظافة مجموعة التقييم. تحتاج مدونات التقييم إلى نفس المصدر وإدارة الإصدارات وضوابط الوصول التي تحتاجها بيانات التدريب.