ملاحظات من بناء أنظمة الوكلاء
أدوات التقييم، وأنماط التنسيق، وتصميم الذاكرة، والإخفاقات التي تقف خلفها — موثّقة بينما التفاصيل لا تزال حاضرة.
تجارة الوكلاء مسألة قواعد نحوية للتفويض، لا مسألة واجهة متجر
Walmart وAmazon لا تتناقشان حول الروبوتات. إنهما تقدّمان إجابتين مختلفتين عن كيفية التعبير عن تفويض المتسوق وتحديده وإثباته عند الدفع.
نماذج القرار تضغط السياسة التي كتبتها بالفعل؛ إنها لا تكتبها
نماذج القرار الصغيرة هي تحسين للزمن الاستجابة والتكلفة فوق سطح سياسة قائم بالفعل. التعامل معها باعتبارها المكان الذي تُعرَّف فيه السياسة خطأ تصنيفي تترتب عليه تبعات في المراجعة والتركيب والسلامة.
القاضي مكوّن: إدارة إصدارات خطوط LLM-as-Judge كأي تبعية أخرى
لا يكون LLM-as-judge موثوقًا إلا عندما يُثبَّت نموذج القاضي والـ prompt والـ rubric ومعاملات فك الترميز وتُختبر انحدارًا كأثر من الدرجة الأولى.
التنفيذ المتين هو متطلب البنية التحتية الحقيقي للوكلاء طويلة التشغيل
التمويل وتحولات المنتجات حول التنفيذ المتين تشير إلى المشكلة الصعبة الفعلية في بنية الوكلاء التحتية: إعادة التشغيل الحتمية والآثار المتكافئة لعمليات تمتد ساعات وتتضمن آثارًا جانبية خارجية.
الرفض قرار توجيه، وليس خاصية نموذج
تجاوز الوكيل لحدوده غالبًا ما يكون قرار تفويض مفقودًا في مسار الطلب قبل النموذج. الأمان ينتمي إلى مسار الطلب، وليس فقط إلى تدريب المحاذاة.
أسر الوكلاء تحتاج إلى عقد اكتشاف، لا إلى قاعدة بيانات مشتركة
على نطاق الأسر، تكمن المشكلة الصعبة في الاتفاق على كيفية تسمية الحقائق وإصدارها وإحالتها للتقاعد. يجب أن يسبق عقد الاكتشاف أي مخزن مشترك.
تلوث المعايير هو خلل في خط أنابيب البيانات: إدارة إصدارات مجموعات التقييم كالكود
غالبًا ما تكون إخفاقات تقييم الوكيل التي تُعزى إلى ضعف النموذج ناتجة عن إخفاقات في نظافة مجموعة التقييم. تحتاج مدونات التقييم إلى نفس المصدر وإدارة الإصدارات وضوابط الوصول التي تحتاجها بيانات التدريب.
الكونسيرج البشري مسار احتياطي، وليس ميزة
توجيه إخفاقات الوكيل إلى إنسان لا ينجح إلا عندما تكون اتفاقية التصعيد صريحة: ما الحالة التي تُسلَّم، وما الذي يجوز للمشغّل تغييره، وكيف يعود التصحيح إلى الوكيل.
المعالجة طويلة الأفق تحوّل إدارة السياق إلى مسألة جدولة
نافذة السياق الأكبر لا تلغي الحد؛ بل تحوّل تجميع السياق إلى قرار جدولة حول ما يُحمَّل، ومتى، وبأي كلفة.