جنسن هوانگ از انویدیا گفت ایجنت‌های هوش مصنوعی تقاضای توکن و GPU را «به اوج» رسانده‌اند، به گزارش Yahoo Finance. این ادعا استنتاج را از یک هزینه پس‌زمینه‌ای به مسئله برنامه‌ریزی ظرفیت بازتعریف می‌کند: ناوگان‌های ایجنت به‌طور پیوسته در سراسر برنامه‌ریزی، فراخوانی ابزار و تلاش‌های مجدد توکن مصرف می‌کنند، بنابراین سقف‌های توان عملیاتی و قیمت‌گذاری هر توکن در کنار انتخاب مدل و ارکستراسیون به مشخصات طراحی راه می‌یابند.
از Gene Munster نقل شده است که رشد از حدود ۱۵ میلیون کاربر ربات به میلیاردها را پیش‌بینی می‌کند، مسیری که فشار مستمر بر عرضه استنتاج را ایجاب می‌کند. جدا از این، جسی از آمازون گفت هزینه‌های استنتاج باید حدود ۹۰٪ کاهش یابد تا پذیرش گسترده سازمانی ممکن شود. این دو موضع در کنار هم فضای برنامه‌ریزی را مشخص می‌کنند: رشد تقاضا در یک سو، و منحنی هزینه‌ای که هنوز به سطوح راحت برای سازمان‌ها نرسیده در سوی دیگر.
برای تیم‌هایی که سیستم‌های چندایجنت‌ی می‌سازند، پیامد عملی این است که بودجه‌های توکن، محدودیت‌های هم‌زمانی و مسیریابی جایگزین به مصنوعات مهندسی درجه‌یک تبدیل می‌شوند و با همان دقتی ارزیابی می‌شوند که کیفیت بازیابی یا قابلیت اطمینان ابزار. آنچه از این پوشش خبری روشن نمی‌ماند، بازه زمانی متصل به هر یک از این پیش‌بینی‌هاست، و اینکه آیا رقم ۹۰٪ به هزینه واحد، کل هزینه یا کلاس بار کاری مشخصی اشاره دارد. استودیو این‌ها را متغیرهای باز برای سنجش در هر استقرار می‌داند، نه فرض‌های قطعی.