نشرت AWS إرشادات حول أنماط التخزين المؤقت للمطالبات لاستخدام نماذج OpenAI على Amazon Bedrock. وتطرح المقالة السياق المتكرر كمشكلة تخزين مؤقت لأحمال عمل الوكلاء، وتقدّم التخزين المؤقت للمطالبات كوسيلة للتحكم في استهلاك الـ token عبر الاستدعاءات المتكررة. الإرشادات خاصة بتشغيل نماذج OpenAI عبر Bedrock، لذا لا ينبغي افتراض أن الأنماط الموثقة في مكان آخر تنتقل دون تغيير.
بالنسبة لحلقات الوكلاء، أصبح تصميم إصابة التخزين المؤقت قرارًا أساسيًا للتكلفة والـ latency بدلًا من كونه فكرة لاحقة. فهو يغيّر كيفية ترتيب السياق بين الاستدعاءات: يمكن وضع المواد الثابتة مثل تعليمات النظام ومخططات الأدوات والمستندات المرجعية الطويلة قبل المحتوى المتغير، بينما تُضاف مخرجات الأدوات وحالة كل دور بعد البادئة المخزنة مؤقتًا. على الفرق التي تبني وكلاء متعددي الخطوات اعتبار تجميع المطالبات مشكلة تخطيط، لأن إعادة ترتيب واحدة للبادئة قد تُبطل التخزين المؤقت وتُعيد التكلفة الكاملة للـ token بصمت.
لا تتضمن التغطية المقدمة أعمار التخزين المؤقت، أو الحد الأدنى للأطوال القابلة للتخزين المؤقت، أو تأثيرات التسعير، أو أرقام latency المقاسة، ولا تذكر إصدارات نماذج OpenAI أو مناطق Bedrock المشمولة. ينبغي قراءة تلك التفاصيل من وثائق AWS مباشرةً قبل الاعتماد عليها في تصميم الإنتاج. الخلاصة العملية أضيق لكنها مفيدة: ترتيب السياق وموضع مخرجات الأدوات يستحقان مراجعة صريحة في أي نظام وكلاء يكرر مطالبات كبيرة.