转变
在过去两年的大部分时间里，agent 架构被一个硬性约束所塑造：每一个 token 都要花钱，而计费表跑在别人的基础设施上。团队的反应是理性的。他们精简 prompt、积极缓存，并把最大的模型留给真正需要它们的步骤。模型是稀缺资源；编排只是围绕它拼凑出来的东西。
这一约束正在松动。开放权重模型在指令遵循、工具调用和结构化输出方面已经缩小了大部分差距，同时服务栈的效率也足以在自有或预留硬件上以可观的规模运行它们。实际后果并不是大型托管模型会消失，而是 token 的边际成本变成了一个你掌控的设计参数，而不是一张你收到的账单。
当边际推理变得廉价且可预测时，有趣的问题就不再是“用哪个模型？”，而是“调用多少次、以什么顺序、如何验证？”瓶颈从模型选择迁移到了编排质量与硬件利用率上。
路由成为架构
第一个可见的变化是，模型路由不再是采购决策，而成为结构性决策。高并发的 agent 工作负载很少是均匀困难的。它是一条由简单步骤组成的长尾——分类、抽取、归一化、检索查询改写、schema 校验——中间点缀着少数真正困难的步骤：多步规划、歧义消解、跨冲突来源的综合。
一旦你能在小型自托管模型上运行简单步骤，整个系统的成本结构就会改变形态。困难步骤仍然路由到前沿模型，但它们现在只占调用的一小部分。架构读起来就像一条路由策略：一个廉价的分类器决定每一步由哪一层处理，昂贵的那一层被保留。这条策略是你拥有、可版本化、可测试的代码——而不是厂商的 endpoint。
这个机制值得具体说明。典型的路由层有三个部分：
- 难度信号。 一个小模型（或基于输入长度、工具数量和 schema 复杂度的启发式规则）为传入的步骤打分。这个信号廉价且不完美；它的职责是在升级上保持保守。
- 层级映射。 每一层指向一个具体的部署：本地 GPU 上的量化开放权重模型、托管的小模型、托管的前沿模型。各层在稳定接口之后可以互换。
- 回退与升级路径。 当廉价层未通过校验时——JSON 格式错误、缺少引用、工具调用失败——该步骤会在上一层重试。升级是安全网，让你可以对廉价层采取激进策略。
只有当升级罕见且可度量时，这套经济学才成立。如果廉价层有三分之一的调用发生升级，你就付了两次钱却一无所获。这种度量是编排层面的关切，也是如今大部分工程精力所在之处。
它带来了什么
廉价、可控的边际推理改变了哪些 agent 设计是负担得起的，因而也改变了哪些设计会被真正构建出来。
更宽的扇出。 过去只产出一个候选计划的规划步骤，现在可以产出多个，每个都在选择前被评估和打分。采样多条推理路径并挑选最佳，是提升可靠性的一种成熟方法，但它会成倍放大推理量。当这个倍数是一个可控的本地成本而非按次计费的账单时，扇出就从奢侈品变成了默认选项。
更多的验证轮次。 验证是 agent 设计中能自我回本、却在成本压力下最容易被砍掉的部分。一个廉价的验证模型可以重读每一次工具调用、对照来源片段检查每一个抽取字段、拒绝无依据的断言，并且可以在每一步上运行，而不是只在抽样上运行。验证器不需要很聪明；它需要足够一致、足够廉价，以便始终运行。
持续评估。 也许最具深远意义的变化在评估框架上。当推理是你自有的成本项时，eval 套件就不再是与预算竞争的夜间批处理任务。它是一个持续运行的服务，针对每一次 prompt、路由策略和模型版本变更运行。回归检测从“第二天早上”提前到“下一次提交”。量化模型或重新调优的路由器中的行为漂移，会在变更仍处于评审阶段时浮现出来。
这些都不是新技术。它们全都为人所知，也全都被限量配给。转变在于，限量配给的约束已经转移了。
它的代价
拥有推理意味着用一张可变账单换取一份固定的运营负担，而这份负担并不小。
容量规划。 托管 endpoint 能吸收峰值。自托管部署不能。你需要知道你的峰值并发步骤数、每个副本的每秒 token 数，以及要为如今与生产流量竞争的评估运行保留多少余量。配置不足，延迟就会恰好在 agent 最繁忙时恶化；配置过度，成本优势就会蒸发成闲置的 GPU。这是一个有真实后果的预测问题，而且它不会消失。
量化选择。 在降低精度下运行开放权重模型，通常是在可用硬件上获得有效吞吐的必要手段。每个量化级别都是一个行为不同的模型：结构化输出可能比自由文本更早退化，长上下文召回往往最先退化。这个选择不是部署细节；它是一种行为变更，必须像任何其他变更一样被评估。
版本固定。 托管的前沿模型会在你脚下发生变化，这本身是个问题，但至少变化是统一的。自托管集群固定确切的权重、确切的服务栈版本和确切的量化产物。这带来了可复现性，也带来了维护义务：安全补丁、驱动更新，以及把权重升级当作一次带有自身 eval 运行的发布来对待的纪律。
异构集群使评估复杂化。 这是本论点核心处诚实的权衡。一旦行为因路由而异，单一的聚合 eval 分数就会产生误导。一个改善前沿层的 prompt 变更，可能悄悄降低廉价层的表现，而聚合分数可能纹丝不动。评估必须按路由切片，路由级指标必须随时间跟踪。框架变得更复杂，恰恰是因为架构变得更强大了。
还有一个容易被低估的代价：路由策略本身变成了一个带有失效模式的组件。一个调校不当的难度信号会把困难步骤送到廉价层，在那里它们未通过校验并升级——或者更糟，未通过校验却被接受。路由器需要自己的测试、自己的指标（升级率、廉价层接受率、每个已完成任务的成本）以及自己的评审流程。
约束在移动
开放权重的转变常被框定为成本故事，它确实是。但持久的变化是架构性的。当推理昂贵且外部时，模型是约束，编排是管道。当推理廉价且自有时，模型是一个组件，编排才是约束。
这重新定义了工程精力应该投向何处。它投向被度量而非被假设的路由策略。它投向因为负担得起而在每一步上运行的验证。它投向足够快以持续运行、足够细以捕捉路由特定回归的评估框架。它投向在不让生产挨饿的前提下保持高利用率的容量模型。
这一切都不是免费的。它是另一张账单，以运营注意力而非每 token 支出支付，而且只有当规模足够大、边际成本真正重要时才值得支付。对于低并发的 agent，托管 endpoint 仍然是正确答案。错误在于假设托管答案会随着规模增长而一直正确——并在架构已经围绕单一层级固化之后，才发现路由问题。
从开放权重经济学中获益最多的团队，不是拥有最大 GPU 的团队。而是那些编排已经足够好、能够利用廉价推理的团队，以及那些把路由、验证和评估当作一等工程而非配置来对待的团队。
封面照片：panumas nikhomkhai / Pexels。