博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

LLM 评审模型是一种带版本的依赖：在不损失可比性的前提下削减评估流水线成本

更便宜的 LLM 评审模型只有在像其他依赖一样被版本化、固定并做回归测试时才是可靠的；否则省下的成本要以跨运行可比性的丧失为代价。

决策与评判是两个独立的设计角色。当一个模型同时承担两者时，评估会继承执行者的盲区，从而不再可信。

运行成本通常以 token 总量来报告，但主导变量是规划器如何分解任务。按计划节点记账，能把预算变成调度输入。

Agent 的工具误用通常始于界面：用 JSON 封装的人类 API 隐藏了部分失败，且缺乏终态错误语义。设计面向机器的接口可以解决这一问题。

只有在固定的评估集下，以任务级结果而非单纯的每 token 成本来评判路由器时，模型间的路由才能带来回报。

升级到人工客服是一个容量与延迟的决策。应将其建模为排队问题，而不是事后附加的信任特性。

当一个智能体可以用未经证实的声明改变另一个智能体的计划时，缺陷在于协议，而非模型。来源标签、独立验证和重复断言上限可以遏制它。

每 token 成本的下降，将 agent 的瓶颈从模型选择转移到编排质量与硬件利用率上。