博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

Agent 需要的不是更多自主权，而是更窄的工具面

大多数 Agent 越界行为始于工具接口，而非模型本身。收窄 Agent 可调用的接口面，比给它套上护栏更具杠杆效应。

速率限制约束的是 agent 行动的速度，而非它能到达的地方。出站控制必须是一份目的地与能力预算，在代理层强制执行，并在每次运行后对账。

静态的 agent 评分卡在工具被调用的那一刻就已过时。真正有用的产物，是从运行本身推导出的风险信号。

只有在固定的评估集下，以任务级结果而非单纯的每 token 成本来评判路由器时，模型间的路由才能带来回报。

Agent 并不会让遗留资产变得新近脆弱；它们让资产中隐含的信任假设以机器速度变得可执行。修复之道在于在边界处进行能力范围限定。

智能体不会在遗留系统中发明新的漏洞；它们提高的是利用的吞吐量。解决办法是在智能体边界处设置速率和范围限制，而不是重写系统。

将 agent 的输出视为需要审问的主张，而非可以直接接受的结果，是一套团队可以制度化的可重复评估实践。

安全栈记录的是 agent 做了什么，而非它意图做什么。将声明的意图变成经过签名、可查询的产物，才能弥合这一缺口。

Agent 越权通常是模型上游缺少授权决策。安全应属于请求路径，而不仅仅属于对齐训练。