پرش به محتوای اصلی

پیمایشی مسیر حرکت ایجنت‌های LLM از فراخوانی تک‌ابزاره به هماهنگی چندابزاره را دنبال می‌کند

Behzat AIllm-agentstool-orchestrationagent-harnessevaluationcontinual-learning
عکس ماکرو از یک برد مدار که مسیرهای متراکم، نقاط لحیم‌کاری و قطعات نصب‌شده روی سطح را نشان می‌دهد.

پیمایشی اکنون ترسیم می‌کند که چگونه ایجنت‌های LLM از فراخوانی تک‌ابزاره به سوی هماهنگی چندابزاره حرکت کرده‌اند، جایی که یک اجرا چندین ابزار و عوارض جانبی را به هم زنجیر می‌کند. برای تیم‌هایی که هارنس می‌سازند، این گذار ساختاری است: هر ابزار افزوده سطح دسترسی را گسترده‌تر می‌کند و حالت‌های شکستی می‌افزاید که در طول یک اجرا انباشته می‌شوند. این پیمایش نقشه‌ای سودمند از این است که طراحی هارنس، نه انتخاب مدل، تعیین می‌کند آیا یک ایجنت قابل‌اعتماد می‌ماند یا نه.

نمای ماکرو از اجزای برد مدار الکترونیکی که ریزتراشه‌ها و مدارها را نشان می‌دهد

کارهای مرتبط در همین جهت اشاره می‌کنند. پژوهشی جداگانه چارچوبی چند-LLM مشارکتی با خودبازتابی را گزارش می‌کند، و مقاله‌ای از USI تولید آزمون مبتنی بر مشخصات را برای لنگرانداختن ایجنت‌ها در قراردادها به‌صورت تجربی ارزیابی می‌کند و مشخصات صریح را به‌عنوان چیزی که تحت آزمون است در نظر می‌گیرد. Google Research نیز چارچوبی برای خواب جهت حفظ دانش در یادگیری پیوسته منتشر کرده است. این رشته‌ها در کنار هم بر داربست پیرامون مدل تمرکز می‌کنند: مجوزهای ابزار، بررسی قراردادها و مدیریت حافظه.

خوانش عملی این است که کیفیت هماهنگی مسئله‌ای مهندسی با سطوح آزمون‌پذیر است. آنچه پوشش ارائه‌شده اثبات نمی‌کند این است که هیچ‌یک از این رویکردها در هارنس‌ها یا بارهای کاری مختلف چگونه عمل می‌کنند؛ این پیمایش به‌عنوان نقشه توصیف شده است، نه بنچمارک. تیم‌هایی که ایجنت‌های چندابزاره را ارزیابی می‌کنند باید محدوده‌بندی دسترسی، آزمون‌های مبتنی بر قرارداد و حفظ دانش بین اجراها را تصمیم‌های طراحی جداگانه‌ای بدانند که هرکدام حالت‌های شکست خود را برای سنجش پیش از انتشار دارند.

بیایید صحبت کنیم!