ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
قاضي LLM هو تبعية مُصدَّرة بإصدارات: تقليص تكاليف خطوط أنابيب التقييم دون فقدان القابلية للمقارنة
القاضي LLM الأرخص لا يكون سليماً إلا إذا كان مُصدَّراً بإصدارات ومثبَّتاً ومختبَراً بالانحدار مثل أي تبعية أخرى؛ وإلا فإن التوفير يُدفع ثمنه بفقدان القابلية للمقارنة بين التشغيلات.
نماذج الأدلة ونماذج القرار كيانان مختلفان
القرار والحكم دوران تصميميان منفصلان. عندما يقوم نموذج واحد بكليهما، ترث التقييمات نقاط العمى لدى الفاعل وتتوقف عن كونها موثوقة.
قياس التفكيك: لماذا تُعد تكلفة مسار الوكيل مقياسًا للمخطِّط
يُبلَّغ عن تكلفة التشغيل كإجمالي tokens، لكن المتغير المهيمن هو كيفية تفكيك المخطِّط للمهمة. محاسبة عُقد الخطة تحوّل وضع الميزانية إلى مُدخل جدولة.
أسطح الأدوات مشكلة تصميم واجهات، لا مشكلة غلاف
غالبًا ما يبدأ سوء استخدام الوكيل للأدوات من الواجهة: واجهات برمجة بشرية ملفوفة بـ JSON تخفي الفشل الجزئي وتفتقر إلى دلالات الأخطاء النهائية. تصميم أسطح موجهة للآلة يعالج ذلك.
توجيه النماذج مشكلة تقييم قبل أن يكون مشكلة تحسين
لا يُجدي التوجيه بين النماذج نفعًا إلا عندما يُحكم على الموجّه بناءً على النتائج على مستوى المهمة ضمن مجموعة تقييم ثابتة، لا على التكلفة لكل token وحدها.
الكونسيرج البشري ميزانية زمن استجابة، وليس طبقة أمان
التصعيد إلى كونسيرج بشري قرار سعة وزمن استجابة. صمّمه كمشكلة طوابير، لا كميزة ثقة تُضاف بعد التنفيذ.
التلاعب بين الوكلاء مشكلة بروتوكول
عندما يستطيع وكيل تغيير خطة وكيل آخر بادعاء غير موثّق، يكون الخلل في البروتوكول لا في النموذج. وسوم المصدر والتحقق المستقل وحدود إعادة التأكيد تحتويه.
اقتصاديات الأوزان المفتوحة: ما الذي يتغير عندما يصبح الاستدلال بندًا تملكه
انخفاض تكلفة الرمز الواحد ينقل عنق الزجاجة في الوكيل من اختيار النموذج إلى جودة التنسيق واستغلال العتاد.