قال آندي جاسي، الرئيس التنفيذي لشركة أمازون، إن تكاليف الاستدلال في الذكاء الاصطناعي يجب أن تنخفض بنحو 90% قبل أن تصل أنظمة الوكلاء إلى اعتماد واسع النطاق في المؤسسات، وفقًا لـ KuCoin. تعيد هذه المقولة صياغة سؤال الاعتماد: إذا كانت تكلفة الاستدلال للوحدة هي القيد الحاسم، فإن بنية الوكلاء واختيار النموذج وتوجيه الطلبات هي قرارات تكلفة قبل أن تكون قرارات قدرة.
قال جنسن هوانغ من Nvidia، نقلًا عن Yahoo Finance، إن أحمال عمل الوكلاء دفعت الطلب على الـ token وGPU إلى الارتفاع الحاد. تشير الإشارتان إلى الاتجاه نفسه. تضاعف أنماط الوكلاء عدد الاستدعاءات لكل مهمة عبر حلقات التخطيط واستخدام الأدوات والاسترجاع وإعادة المحاولة، لذا تتراكم تكلفة الـ token بشكل أسرع مما هو عليه في الـ prompt ذي الدور الواحد. يصبح التوجيه بتكلفة منخفضة حيث يكفي نموذج أصغر، وتخزين السياق الثابت مؤقتًا، وتحديد عمق الحلقات، روافع هندسية ذات تأثير مباشر على الميزانية.
تشير RSM US إلى رضا مرتفع عن الذكاء الاصطناعي في السوق المتوسطة إلى جانب اعتماد محدود على مستوى المؤسسة، مما يوحي بأن الفجوة ليست في الحماس بل في اقتصاديات النشر ونطاقه. ما يبقى غير واضح من التغطية المتاحة هو خط الأساس الذي تُقاس به نسبة 90%، والإطار الزمني، وما إذا كانت تشمل الخدمة أو التنسيق أو كليهما. بالنسبة للفرق التي تصمم أنظمة وكلاء الآن، فإن الأثر العملي هو قياس التكلفة لكل مهمة ناجحة إلى جانب الجودة وزمن الاستجابة، والتعامل مع سياسة التوجيه كأثر تصميمي من الدرجة الأولى وليس فكرة لاحقة.