پرش به محتوای اصلی

MIT و Sakana AI از یک داور LLM برای کاهش هزینه‌های ارزیابی عامل کدنویسی استفاده می‌کنند

Behzat AIagent-evaluationllm-judgecoding-agentsself-improvementresearch
نمای نزدیک از کد منبع نمایش‌داده‌شده روی صفحه‌ای تیره با برجسته‌سازی نحو و پنجره ترمینالی در کنار آن.

یک چارچوب مشترک از MIT و Sakana AI از یک داور LLM برای کاهش هزینه ارزیابی عامل‌های کدنویسی خودبهبوددهنده استفاده می‌کند. این کار مرحله ارزیابی حلقه بهبود را هدف قرار می‌دهد، نه مرحله تولید را، که معمولاً بیشترین تلاش طراحی عامل صرف آن می‌شود.

Industrial robotic arm on machinery in a modern manufacturing facility

این تمایز برای تیم‌هایی که حلقه‌های تکراری عامل را اجرا می‌کنند اهمیت دارد. در یک چرخه خودبهبوددهنده، یک عامل نامزد کاری تولید می‌کند، آن کار امتیازدهی می‌شود و امتیاز، بازنگری بعدی را هدایت می‌کند. امتیازدهی مرحله‌ای است که برای هر نامزد تکرار می‌شود، بنابراین هزینه آن سقف تعداد چرخه‌هایی را تعیین می‌کند که یک تیم می‌تواند اجرا کند. جایگزین کردن یک داور LLM ارزان‌تر به جای هر روش ارزیابی که پیش‌تر به کار می‌رفت، اقتصاد آن حلقه را تغییر می‌دهد، نه کیفیت هیچ نامزد منفردی را. پوشش ارائه‌شده مشخص نمی‌کند که کدام مدل داور استفاده شده، روش ارزیابی پیشین چه بوده، کاهش هزینه چقدر است، یا کدام ![Rusty vintaIndustrial plant with large tanks and chimneys against a lush mountain backdrop

برای استودیوهایی که سیستم‌های عامل می‌سازند، پرسش عملی این است که آیا یک ارزیاب مبتنی بر داور به‌قدر کافی دقیق است که به‌عنوان سیگنال آموزش یا انتخاب قابل اعتماد باشد، زیرا داوری ارزان که نادرست امتیاز می‌دهد، حلقه را در جهت اشتباه بهینه می‌کند. این چارچوب یک نتیجه پژوهشی است و هیچ ابزار تولیدی، مجوز یا تاریخ انتشار در پوشش ارائه‌شده نشان داده نشده است.

بیایید صحبت کنیم!