AWS 已发布关于在 Amazon Bedrock 上使用 OpenAI 模型时提示缓存模式的指南。该文章将重复上下文视为 agent 工作负载中的缓存问题，并将提示缓存作为在重复调用中控制 token 开销的一种方式。该指南专门针对通过 Bedrock 运行 OpenAI 模型，因此不应假定其他地方记录的模式可以原样迁移。
对于 agent 循环而言，缓存命中设计如今已成为一项首要的成本与延迟决策，而非事后考虑。它改变了调用之间上下文的排列方式：系统指令、工具 schema 和长参考文档等稳定材料可以放在易变内容之前，而工具输出和每轮状态则追加在缓存前缀之后。构建多步 agent 的团队应将提示组装视为一个布局问题，因为前缀的一次重新排序就可能使缓存失效，并在不知不觉中恢复完整的 token 成本。
所提供的报道未包含缓存生命周期、最小可缓存长度、定价影响或实测延迟数据，也未说明涵盖哪些 OpenAI 模型版本或 Bedrock 区域。在生产设计中依赖这些细节之前，应直接从 AWS 文档中查阅。实际要点更窄但有用：在任何重复大型提示的 agent 系统中，上下文排序和工具输出的放置都值得明确审查。