跳转到主要内容

权限预算:智能体与其工具之间缺失的控制面

提示词约束只是建议性的。真正的安全来自把每一项能力都视为可消耗的权限预算:范围、配额、有效期与证明。

实验室显微镜,带照明的镜头和精密调节旋钮置于工作台上

指令层不是控制面

当智能体获得一个工具时,提示词往往附带一组约束:不要发送超过几封邮件,不要修改生产记录,不要超过支出阈值。这些约束是建议性的。它们是上下文窗口中的 token,而一个能够调用工具的模型,也可能以提示词未曾预料的方式调用它。模型可能把被允许的操作泛化为未被允许的操作,以意外的顺序串联工具,或者干脆在一条长轨迹中未能持续跟踪某个约束。提示词不做强制,它只是建议。

相比之下,权限是在模型之下被强制执行的。它存在于凭证、token 的范围、端点的速率限制,以及续期访问所需的证明之中。这些不是模型可以重新解释的指令,而是运行时施加的约束。如果一个智能体持有可以删除数据库的凭证,那么提示词里写着“不要删除数据库”只是一种期望,而非边界。实际的控制单元不是“允许”或“不允许”,而是多少、多频繁,以及在何种证明之下。

随着智能体从单轮工具使用转向长时间运行的循环,这一区分变得更加重要。在循环中,模型的行为由它能做什么塑造,而不是由它被告知什么塑造。控制面是它所持有的能力集合以及对这些能力的限制。这就是权限预算。

为什么提示词无法承载权限

提示词是请求。凭证是能力。当智能体调用工具时,工具并不读取提示词。它检查 token、范围、配额,以及附加在调用方身上的策略。如果 token 范围宽泛,工具就会照办。提示词对执行点是不可见的。

考虑一个常见模式:一个智能体被指示总结支持工单,并被赋予一个同时可以更新工单状态的工具。提示词说“只读”。工具的 API 接受一个写入参数。模型在追求解决工单这一目标时,可能会设置该参数。提示词并未授予写入权限,但凭证授予了。这不是提示词失败,而是权限设计失败。

同样的道理适用于速率和数量。提示词可能说“节约使用搜索工具”。端点没有配额。智能体可以调用它数千次。提示词无法强制节约,只有配额可以。

Circuit board macro

这就是为什么智能体安全更适合建模为可消耗的权限额度。每一项能力都是一项授予,带有范围、配额、有效期和续期条件。模型可以消耗该授予,但不能超出它。执行点是工具、网关或凭证签发方,而不是提示词。

设计权限预算

权限预算把每一项能力表达为一项有边界的授予。一项授予包含四个部分:

  • 范围:该能力可以作用于什么。不是“邮件”,而是“向支持域内的内部收件人发送”。不是“数据库”,而是“读取 tickets 表中的行”。
  • 配额:多少以及多频繁。调用次数、数据量、每分钟速率、针对某项资源的总支出。配额在网关处强制执行。
  • 有效期:授予何时失效。短生命周期的授予缩小了被攻陷或失准的智能体可以行动的时间窗口。有效期强制续期,而续期正是证明的机会。
  • 证明:续期或扩展授予需要什么证据。这可以是人工批准、另一个智能体的签名、对策略引擎的检查,或者证明先前的配额是在范围内消耗的。

预算应当对规划器可见。如果智能体能看到自己还剩三次写入、距离失效还有两小时,它就能对消耗进行推理。它可以排优先级、推迟或请求续期。如果预算不可见,智能体就会以错误的形式发现限制,这会导致重试、绕过和不可预测的行为。可见性把硬性停止转变为规划约束。

按种类区分权限。读取权限风险低,可以在会话内自动续期。写入权限风险更高,应当要求更窄的范围和更短的有效期。不可逆权限,例如发送外部通信、删除数据或转移资金,应当要求每次支取都获得明确证明,或者设置极小的配额并让人参与其中。续期路径也应相应不同:读取授予可由编排器刷新;写入授予通过策略检查;不可逆授予通过人工或法定人数。

一个具体机制:权限网关位于智能体和工具之间。智能体出示授予 token。网关验证 token,对照请求的操作检查范围,递减配额,并记录支取。如果配额耗尽或范围超出,网关返回结构化的拒绝,编排器可以对其进行解释。token 由凭证服务签发,该服务编码范围、配额、有效期和证明要求。模型永远看不到底层凭证;它只看到授予及其剩余预算。

Circuit board macro

这不是新想法。云 IAM、API 速率限制和基于能力的安全已经是这样工作的。贡献在于把智能体的权限视为一等、可消耗的资源,规划器可以对其推理,运行时可以对其强制执行。

运营后果

当权限是预算时,事件响应会改变。运营人员不再重写系统提示词并寄望模型遵从,而是撤销授予。撤销是即时且可强制执行的。智能体失去的是能力,而不仅仅是指令。事件在凭证层被遏制,而那里正是损害会发生的地方。

审计输出变成针对预算的支取账本。每一行记录授予、范围、操作、剩余配额和证明。这个账本对非 ML 审查者是可读的:安全、合规和运营人员无需理解模型内部即可阅读。他们能看到智能体做了什么、在何种权限下做的,以及是否保持在边界内。他们还能看到授予何时续期以及基于什么证据。

预算耗尽成为一等智能体状态。编排层必须显式处理它:暂停、请求续期、降级到较低权限模式,或终止。把耗尽当作可重试的错误,是招致绕过的配方。把它当作需要管理的状态,则能让智能体保持在其权限之内。

The trade-off is overhead. Authority budgets require a gateway, a credential service, and a ledger. They add latency to tool calls and complexity to the orchestration layer. They force teams to define scopes and quotas up front, which is work that prompts do not require. For a prototype, this may be unnecessary. For a production agent with write access to real systems, the overhead is the price of a control surface that actually controls.

第二个权衡是灵活性。范围很紧的授予可能阻止智能体完成任务所需的合法操作。智能体随后必须请求续期,而这可能需要人工批准。这会减慢循环。替代方案是宽泛的授予,允许该操作以及其它一切。设计选择在于把自主与监督之间的边界放在哪里。权限预算让这一选择显式且可强制执行,而不是留给模型对提示词的解释。

结论

提示词描述意图。权限约束行为。在循环中,模型会使用它能使用的东西,而不是它被告知要使用的东西。缺失的控制面是权限预算:一种可消耗的额度,带有范围、配额、有效期和证明,对规划器可见,并在网关处强制执行。这把安全从指令层转移到凭证层,在那里它可以被撤销、审计和推理。它不如提示词方便。它也是寄望智能体守规矩与确保它无法不守规矩之间的区别。

分享XLinkedIn永久链接6 分钟阅读

相关阅读

这能回答的问题

Why can't a system prompt enforce tool permissions?

A system prompt is advisory text in the model's context. The tool's enforcement point checks credentials, scopes, and quotas, not the prompt. If the credential allows an action, the tool will perform it regardless of what the prompt says.

What are the four parts of an authority budget?

Scope (what the capability can act on), quota (how much and how often), expiry (when the grant lapses), and attestation (what evidence is required to renew or expand it).

How should read, write, and irreversible authority differ?

Read authority can be renewed automatically within a session. Write authority should have narrower scope, shorter expiry, and a policy check for renewal. Irreversible authority should require explicit attestation per draw or a very small quota with human oversight.

What happens when an authority budget is exhausted?

Exhaustion is a first-class agent state. The orchestration layer should pause, request renewal, degrade to a lower-authority mode, or terminate. Treating it as a retryable error encourages circumvention.

What is the main trade-off of authority budgets?

Overhead. They require a gateway, credential service, and ledger, adding latency and up-front design work. They also reduce flexibility, since tightly scoped grants may block legitimate actions until renewal is approved.