AWS راهنمایی درباره الگوهای کش کردن prompt برای استفاده از مدل‌های OpenAI در Amazon Bedrock منتشر کرده است. این مطلب زمینه تکراری را به‌عنوان یک مسئله کش برای بارهای کاری agent مطرح می‌کند و کش کردن prompt را راهی برای کنترل هزینه token در فراخوانی‌های تکراری معرفی می‌کند. این راهنما مخصوص اجرای مدل‌های OpenAI از طریق Bedrock است، بنابراین نباید فرض کرد الگوهای مستندشده در جای دیگر بدون تغییر قابل انتقال هستند.
برای حلقه‌های agent، طراحی cache-hit اکنون یک تصمیم درجه‌یک هزینه و latency است، نه یک ملاحظه پس از فکر. این تصمیم ترتیب قرارگیری زمینه بین فراخوانی‌ها را تغییر می‌دهد: مطالب پایدار مانند دستورالعمل‌های سیستم، schemaهای ابزار و اسناد مرجع طولانی می‌توانند پیش از محتوای متغیر قرار گیرند، در حالی که خروجی ابزار و وضعیت هر نوبت پس از پیشوند کش‌شده افزوده می‌شوند. تیم‌هایی که agentهای چندمرحله‌ای می‌سازند باید مونتاژ prompt را به‌عنوان یک مسئله چیدمان در نظر بگیرند، زیرا یک بازآرایی پیشوند می‌تواند کش را باطل کند و بی‌صدا هزینه کامل token را بازگرداند.
پوشش ارائه‌شده شامل عمر کش، حداقل طول قابل کش، اثرات قیمت‌گذاری یا ارقام latency اندازه‌گیری‌شده نیست و مشخص نمی‌کند کدام نسخه‌های مدل OpenAI یا مناطق Bedrock پوشش داده شده‌اند. این جزئیات باید پیش از اتکا به آن‌ها در طراحی تولیدی، مستقیماً از مستندات AWS خوانده شوند. نتیجه عملی محدودتر اما مفید است: ترتیب زمینه و جای‌گذاری خروجی ابزار در هر سیستم agent که promptهای بزرگ را تکرار می‌کند، شایسته بازبینی صریح است.