据 KuCoin 报道,亚马逊 CEO Andy Jassy 表示,AI 推理成本必须下降约 90%,agent 系统才能在企业中广泛普及。这一说法重新定义了普及问题:如果单位推理成本是硬性约束,那么 agent 架构、模型选择和请求路由首先是成本决策,其次才是能力决策。

据 Yahoo Finance 援引 Nvidia 的 Jensen Huang 的说法,agent 工作负载已大幅推高 token 和 GPU 需求。两个信号指向同一方向。Agentic 模式通过规划循环、工具调用、检索和重试,使每个任务的调用次数成倍增加,因此按 token 计价的成本累积速度远快于单轮 prompt。在较小模型足以胜任之处采用低成本路由、缓存稳定上下文、限制循环深度,都成为直接影响预算的工程手段。
RSM US 报告称,中型市场对 AI 的满意度很高,但企业范围内的普及仍然有限,这表明差距不在热情,而在部署经济性和范围。从现有报道中尚不清楚的是:90% 这一数字的基准是什么、时间框架如何,以及它涵盖的是 serving、orchestration 还是两者兼有。对于当下正在设计 agent 系统的团队而言,实际含义是:在质量与延迟之外,还要对每个成功任务的成本进行度量,并把路由策略视为一等设计产物,而非事后补充。
