یک چارچوب مشترک از MIT و Sakana AI از یک داور LLM برای کاهش هزینه ارزیابی عاملهای کدنویسی خودبهبوددهنده استفاده میکند. این کار مرحله ارزیابی حلقه بهبود را هدف قرار میدهد، نه مرحله تولید را، که معمولاً بیشترین تلاش طراحی عامل صرف آن میشود.

این تمایز برای تیمهایی که حلقههای تکراری عامل را اجرا میکنند اهمیت دارد. در یک چرخه خودبهبوددهنده، یک عامل نامزد کاری تولید میکند، آن کار امتیازدهی میشود و امتیاز، بازنگری بعدی را هدایت میکند. امتیازدهی مرحلهای است که برای هر نامزد تکرار میشود، بنابراین هزینه آن سقف تعداد چرخههایی را تعیین میکند که یک تیم میتواند اجرا کند. جایگزین کردن یک داور LLM ارزانتر به جای هر روش ارزیابی که پیشتر به کار میرفت، اقتصاد آن حلقه را تغییر میدهد، نه کیفیت هیچ نامزد منفردی را. پوشش ارائهشده مشخص نمیکند که کدام مدل داور استفاده شده، روش ارزیابی پیشین چه بوده، کاهش هزینه چقدر است، یا کدام 
برای استودیوهایی که سیستمهای عامل میسازند، پرسش عملی این است که آیا یک ارزیاب مبتنی بر داور بهقدر کافی دقیق است که بهعنوان سیگنال آموزش یا انتخاب قابل اعتماد باشد، زیرا داوری ارزان که نادرست امتیاز میدهد، حلقه را در جهت اشتباه بهینه میکند. این چارچوب یک نتیجه پژوهشی است و هیچ ابزار تولیدی، مجوز یا تاریخ انتشار در پوشش ارائهشده نشان داده نشده است.
