博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

评判评判者：当小模型为大模型打分

模型即评判者（model-as-judge）流水线能节省成本，但评判者是一台需要校准、漂移监控和对抗性测试的测量仪器。

每 token 成本的下降，将 agent 的瓶颈从模型选择转移到编排质量与硬件利用率上。

按调用计费会掩盖 Agent 系统中真正的成本驱动因素：多步循环。预算应归属于运行，并在模型之外强制执行。

持久化的 agent 记忆只有在具备来源追溯和过期机制时才有用；无限制的召回会让上下文存储变成一种没有审计轨迹的负担。

自主 agent 需要可委托、可撤销的机器身份，拥有自己的密钥、作用域和审计轨迹——而不是借用用户会话。

可观测性记录 agent 做了什么。治理则需要约束，使某些操作无论模型如何决定都无法发生。

设备端推理既是延迟决策，也是数据出境决策。按数据类别而非模型置信度来划定本地/远程边界。

一套关于 agent 故障模式的共享词汇，让事故复盘从轶事转变为跨模型、工具、编排和数据层可计数、可回归测试的信号。

自主编码 Agent 的爆炸半径由其沙箱和网络出口规则决定。在定义 Agent 之前，先定义这份契约。