AWS, OpenAI modellerini Amazon Bedrock üzerinde kullanmaya yönelik prompt caching kalıpları hakkında bir rehber yayımladı. Yazı, yinelenen bağlamı agent iş yükleri için bir caching problemi olarak ele alıyor ve prompt caching'i tekrarlanan çağrılar boyunca token harcamasını kontrol etmenin bir yolu olarak sunuyor. Rehber, OpenAI modellerini Bedrock üzerinden çalıştırmaya özgüdür; bu nedenle başka yerlerde belgelenen kalıpların değişmeden aktarılabileceği varsayılmamalıdır.
Agent döngüleri için cache-hit tasarımı artık sonradan düşünülen bir konu değil, birinci sınıf bir maliyet ve latency kararıdır. Bu tasarım, çağrılar arasında bağlamın nasıl sıralandığını değiştirir: sistem talimatları, tool şemaları ve uzun referans belgeleri gibi sabit materyaller değişken içeriğin önüne yerleştirilebilir; tool çıktısı ve tur başına durum ise önbelleğe alınmış önekin ardına eklenir. Çok adımlı agent'lar geliştiren ekipler prompt birleştirmeyi bir yerleşim problemi olarak ele almalıdır; çünkü önekin tek bir yeniden sıralanması bir cache'i geçersiz kılabilir ve sessizce tam token maliyetini geri getirebilir.
Sunulan içerik; cache ömürlerini, minimum önbelleğe alınabilir uzunlukları, fiyatlandırma etkilerini veya ölçülmüş latency değerlerini içermiyor ve hangi OpenAI model sürümlerinin ya da Bedrock bölgelerinin kapsandığını belirtmiyor. Bu ayrıntılar, üretim tasarımında bunlara güvenilmeden önce doğrudan AWS belgelerinden okunmalıdır. Pratik çıkarım daha dar ama faydalıdır: büyük prompt'ları yineleyen her agent sisteminde bağlam sıralaması ve tool çıktısının yerleşimi açık bir şekilde gözden geçirilmeyi hak eder.