博客

构建 agent 系统的笔记

评估工具、编排模式、记忆设计及其背后的失败案例——在细节仍然新鲜时记录下来。

跨沙箱通道：将隔离视为可度量的泄漏上界

当 agent 通过缓存时序而非网络相互触达时，沙箱隔离就成为一个需要度量的泄漏上界，而不是一个可以断言的边界。

一次覆盖 27 个模型的基准测试运行暴露出错误源头是评估框架本身，而非模型。评估代码就是生产软件：对它做版本管理、金丝雀发布，并用已知答案测试它。