إطار عمل مشترك من MIT وSakana AI يستخدم حَكَمًا يعمل بنموذج لغوي كبير (LLM judge) لخفض تكلفة تقييم وكلاء البرمجة ذاتية التحسين. يستهدف العمل خطوة التقييم في حلقة التحسين بدلًا من خطوة التوليد، وهي الخطوة التي يُنفق فيها معظم الجهد عادةً عند تصميم الوكلاء.
هذا التمييز مهم للفرق التي تشغّل حلقات وكيل تكرارية. في دورة التحسين الذاتي، ينتج الوكيل المرشَّح عملًا، ثم يُقيَّم هذا العمل، وتقود النتيجة المراجعة التالية. التقييم هو الخطوة التي تتكرر مع كل مرشَّح، لذا تحدد تكلفته السقف الأعلى لعدد الدورات التي يمكن للفريق تشغيلها. واستبدال طريقة التقييم السابقة بحَكَم أرخص يعمل بنموذج لغوي كبير يغيّر اقتصاديات تلك الحلقة لا جودة أي مرشَّح بعينه. ولا تذكر التغطية المتاحة أي نموذج حَكَم استُخدم، ولا طريقة التقييم السابقة، ولا مقدار خفض التكلفة، ولا
بالنسبة للاستوديوهات التي تبني أنظمة وكلاء، السؤال العملي هو ما إذا كان المقيّم القائم على حَكَم دقيقًا بما يكفي للثقة به كإشارة تدريب أو اختيار، لأن حَكَمًا رخيصًا يعطي تقييمًا خاطئًا سيوجّه الحلقة نحو الاتجاه الخاطئ. الإطار نتيجة بحثية، ولا تشير التغطية إلى أي أدوات إنتاجية أو ترخيص أو تاريخ إصدار.