博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

追踪非确定性：Concordance 与 DeepEval 揭示了 agent 评估的哪些问题

agent 决策不一致，通常是一个输入缺失问题。评估应当记录并重放完整的决策上下文，而不是事后对输出打分。

Token 定价掩盖了 agent 开销的真实去向。按角色和工具调用进行埋点统计的「每个成功任务成本」，才是团队可以据以行动的指标。