AWS опубликовала рекомендации по паттернам prompt caching для использования моделей OpenAI на Amazon Bedrock. В материале повторяющийся контекст рассматривается как задача кэширования для агентных нагрузок, а prompt caching представлен как способ контролировать расход токенов при повторных вызовах. Рекомендации относятся именно к запуску моделей OpenAI через Bedrock, поэтому не следует предполагать, что паттерны, задокументированные в других местах, переносятся без изменений.
Для агентных циклов проектирование с учётом попаданий в кэш теперь является первостепенным решением по стоимости и задержке, а не запоздалой мыслью. Оно меняет порядок контекста между вызовами: стабильный материал, такой как системные инструкции, схемы инструментов и длинные справочные документы, можно размещать перед изменчивым содержимым, а вывод инструментов и состояние каждого шага добавляются после кэшированного префикса. Командам, создающим многошаговых агентов, следует рассматривать сборку промпта как задачу компоновки, поскольку одна перестановка префикса может аннулировать кэш и незаметно вернуть полную стоимость токенов.
В предоставленном материале не указаны сроки жизни кэша, минимальные длины для кэширования, влияние на цены или измеренные показатели задержки, а также не сказано, какие версии моделей OpenAI или регионы Bedrock охвачены. Эти детали следует читать непосредственно в документации AWS, прежде чем полагаться на них при проектировании для продакшена. Практический вывод уже, но полезен: порядок контекста и размещение вывода инструментов заслуживают явной проверки в любой агентной системе, которая повторяет большие промпты.