اندی جسی، مدیرعامل آمازون، به نقل از KuCoin گفت هزینه‌های استنتاج AI باید حدود ۹۰٪ کاهش یابد تا سیستم‌های agent به پذیرش گسترده سازمانی برسند. این ادعا پرسش پذیرش را بازتعریف می‌کند: اگر هزینه واحد استنتاج قید اصلی باشد، آنگاه معماری agent، انتخاب مدل و مسیریابی درخواست‌ها پیش از آنکه تصمیم‌های توانمندی باشند، تصمیم‌های هزینه‌ای هستند.
جنسن هوانگ از Nvidia، به نقل از Yahoo Finance، گفت بارهای کاری agent تقاضا برای token و GPU را به‌شدت افزایش داده است. این دو نشانه در یک جهت اشاره می‌کنند. الگوهای agentic تعداد فراخوانی‌ها به ازای هر وظیفه را از طریق حلقه‌های برنامه‌ریزی، استفاده از ابزار، retrieval و تلاش‌های مجدد چند برابر می‌کنند، بنابراین قیمت‌گذاری به ازای هر token سریع‌تر از حالت prompt تک‌نوبتی انباشته می‌شود. مسیریابی ارزان‌تر در جایی که مدل کوچک‌تر کافی است، کش کردن زمینه پایدار و محدود کردن عمق حلقه به اهرم‌های مهندسی با تأثیر مستقیم بر بودجه تبدیل می‌شوند.
RSM US از رضایت بالا از AI در بازار میانی همراه با پذیرش محدود در سطح کل سازمان گزارش می‌دهد، که نشان می‌دهد شکاف نه از سر اشتیاق بلکه از اقتصاد استقرار و دامنه است. آنچه از پوشش ارائه‌شده روشن نیست، مبنای سنجش رقم ۹۰٪، بازه زمانی و اینکه آیا شامل serving است یا orchestration یا هر دو، است. برای تیم‌هایی که اکنون سیستم‌های agent طراحی می‌کنند، پیامد عملی این است که هزینه هر وظیفه موفق را در کنار کیفیت و latency اندازه‌گیری کنند و سیاست مسیریابی را به‌عنوان یک مصنوع طراحی درجه‌یک و نه امری پس‌اندیشانه در نظر بگیرند.