پرش به محتوای اصلی

پژوهشگران گوگل به سراغ حفظ‌کردن بنچمارک در ایجنت‌های خودبهبوددهنده می‌روند

Behzat AIagent-evaluationbenchmark-contaminationself-improvementllm-agentseval-hygiene
نمای نزدیک از یک رک سرور با ردیف‌هایی از چراغ‌های نشانگر و کابل‌کشی شبکه در یک مرکز داده کم‌نور.

پژوهشگران گوگل روشی را گزارش کرده‌اند که مانع از حفظ‌کردن مجموعه‌های آزمون توسط ایجنت‌های خودبهبوددهنده می‌شود. این کار به آلودگی بنچمارک در جریان خودبهبودی تکراری می‌پردازد؛ همان حلقه‌ای که در آن ایجنت به‌طور مکرر رفتار خود را در برابر یک مجموعه ارزیابی ثابت تنظیم می‌کند.

Vintage industrial control panel with analog gauges and dials

آلودگی از این نوع، اعتبار بهبودهای گزارش‌شده در توانمندی را تضعیف می‌کند. وقتی ایجنت در برابر همان نمونه‌هایی بهینه‌سازی می‌شود که بعداً بر اساس آن‌ها امتیاز می‌گیرد، بهبود اندازه‌گیری‌شده می‌تواند بازتاب یادآوری مجموعه ارزیابی باشد، نه یک توانمندی قابل تعمیم. نتیجه گزارش‌شده در این حالت محصول ![Macro sMacro photo of porous volcanic rock surface showing textures and patterns

برای تیم‌هایی که سیستم‌های ایجنت را عرضه می‌کنند، این موضوع بهداشت مجموعه ارزیابی را از یک جزئیات پژوهشی به یک دغدغه مهندسی درجه‌یک تبدیل می‌کند. پیامدهای عملی شامل کنار گذاشتن داده‌های ارزیابی از هر سیگنال خودبهبودی، چرخش یا بازتولید مجموعه‌های ارزیابی میان تکرارها، و برخورد با بررسی‌های آلودگی به‌عنوان بخشی از دروازه انتشار به‌جای حسابرسی پس از واقع است. پوشش ارائه‌شده مشخص نمی‌کند که کدام بنچمارک‌ها استفاده شده‌اند، مقیاس آزمایش‌ها چقدر بوده، یا مکانیزم خاصی که روش بر آن تکیه دارد چیست؛ این جزئیات از مطالب موجود روشن نیست.

بیایید صحبت کنیم!