ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
وكلاء يطيعون ومع ذلك يسببون الضرر: بلاغ فيلادلفيا كفشل في المواصفات
قضية البلاغ الكاذب في فيلادلفيا ليست قصة هلوسة. إنها فشل في المواصفات: نفّذ وكيل إجراءً ذا تبعات لم تُعلن شروطه المسبقة قط.
تتبّع اللاحتمية: ما تكشفه Concordance وDeepEval عن تقييم الوكيل
قرارات الوكيل غير المتسقة هي في العادة مشكلة مدخلات مفقودة. ينبغي للتقييم أن يسجّل سياق القرار الكامل ويعيد تشغيله، لا أن يقيّم المخرجات بعد وقوعها.
مفتاح الإيقاف يفترض عملية واحدة: دلالات الإيقاف لأساطيل الوكلاء
تفترض مفاتيح الإيقاف وطروحات الاحتواء وجود عملية واحدة قابلة للتحكم لكل وكيل. أما السرب المنشور فهو رسم بياني من الآباء والأبناء وجلسات الأدوات والامتيازات المؤقتة — وهو يحتاج إلى بروتوكول إنهاء، لا إلى مفتاح.
تجارة الوكلاء مسألة قواعد نحوية للتفويض، لا مسألة واجهة متجر
Walmart وAmazon لا تتناقشان حول الروبوتات. إنهما تقدّمان إجابتين مختلفتين عن كيفية التعبير عن تفويض المتسوق وتحديده وإثباته عند الدفع.
تجارة الوكلاء تنقسم على المسؤولية لا على البروتوكول: Walmart وAmazon ومسألة التفويض
تختلف تجار التجزئة حول وكلاء التسوق لأنهم يختلفون حول من يتحمل معاملة متنازعًا عليها. سجل التفويض، لا البروتوكول، هو سطح التكامل الحقيقي.
حوكمة وقت التشغيل تتفوق على حوكمة الأوامر: قراءة في جدل Nvidia Sentry ومفتاح الإيقاف
الضوابط على مستوى الأوامر استشارية لأنها تعيش داخل نظام احتمالي. الاعتراض في وقت التشغيل يقع حيث تصبح الإجراءات ملموسة، وهناك يجب أن تكون السلطة.
مجموعات التقييم تتدهور: إصدار النسخ للأداة، وليس للنموذج فقط
الوكلاء ذاتية التحسين التي تحفظ اختباراتها تكشف عيبًا في خط الأنابيب: مجموعات التقييم هي قطع بيانات لها نفس التزامات دورة الحياة التي للكود.
الوكلاء الخاملون يحتفظون بمفاتيحهم: استرداد بيانات الاعتماد كمرحلة من مراحل دورة الحياة
الوكيل الذي يتوقف عن العمل لكنه يحتفظ ببيانات اعتماده هو فاعل رئيسي غير مُراقَب. يجب أن تجدول نظافة الأسطول انتهاء صلاحية بيانات الاعتماد، لا أن تعاملها كفكرة لاحقة عند الإيقاف.
المعايير جيدة؛ لكن أداة التقييم هي المتغير الذي لم تُدِر إصداره
درجة لوحة الصدارة هي نتيجة مشتركة للنموذج ومخططات الأدوات وسياسة إعادة المحاولة وحدود وقت التشغيل. انشر أداة التقييم وإلا فلا معنى للرقم.