MIT ve Sakana AI ortak çerçevesi, kendini geliştiren kodlama agent'larını değerlendirme maliyetini azaltmak için bir LLM hakemi kullanıyor. Çalışma, iyileştirme döngüsünün üretim adımı yerine değerlendirme adımını hedefliyor; oysa agent tasarımına yönelik çabanın çoğu genellikle üretim adımına harcanır.
Bu ayrım, yinelemeli agent döngüleri çalıştıran ekipler için önemlidir. Kendini geliştiren bir döngüde bir aday agent iş üretir, bu iş puanlanır ve puan bir sonraki revizyonu yönlendirir. Puanlama, her adayda tekrarlanan adımdır; dolayısıyla maliyeti, bir ekibin kaç döngü çalıştırabileceğinin üst sınırını belirler. Daha önce kullanılan değerlendirme yöntemi yerine daha ucuz bir LLM hakeminin konulması, tek bir adayın kalitesini değil, bu döngünün ekonomisini değiştirir. Sağlanan haber kapsamı, hangi hakem modelinin kullanıldığını, önceki değerlendirme yönteminin ne olduğunu, maliyet düşüşünün ne kadar büyük olduğunu veya hangi kodlama benchmark'larının 
Agent sistemleri geliştiren stüdyolar için pratik soru, hakem tabanlı bir değerlendiricinin eğitim veya seçim sinyali olarak güvenilecek kadar doğru olup olmadığıdır; çünkü yanlış puanlayan ucuz bir hakem, döngüyü yanlış yönde optimize eder. Çerçeve bir araştırma sonucudur ve haber kapsamında herhangi bir üretim aracı, lisans veya yayın tarihi belirtilmemiştir.