پرش به محتوای اصلی

Memdoor: پنج مدل Qwen3.8-27B در LiveCodeBench Hard مدل Fable 5 را شکست می‌دهند

Behzat AImulti-agent-swarmscoding-evalsopen-sourcellm-agentsbenchmarking
عکس ماکرو از یک برد مدار که قطعات متراکم و مسیرهای فلزی ظریف را نشان می‌دهد.

Memdoor یک گردش‌کار حل تیمی منتشر کرده است که در آن پنج مدل Qwen3.8-27B به‌جای یک agent واحد، به‌صورت یک تیم اجرا می‌شوند. بر اساس پوشش خبری این پروژه، پیکربندی تیمی در LiveCodeBench Hard مدل Fable 5 را شکست می‌دهد. پیاده‌سازی به‌صورت یک مخزن متن‌باز همراه با گردش‌کارهای نمونه در دسترس است، بنابراین می‌توان این چیدمان را بررسی و دوباره اجرا کرد، نه اینکه صرفاً به آن اعتماد کرد.

نمای نزدیک از یک برد مدار الکترونیکی که ریزتراشه‌ها و قطعات را نشان می‌دهد

این نتیجه برای مهندسی agent اهمیت دارد، زیرا یک انتخاب طراحی را جدا می‌کند که بیشتر پشته‌ها آن را ضمنی رها می‌کنند: اینکه توانمندی از طریق مقیاس‌دهی یک مدل به دست می‌آید یا از طریق هماهنگ‌سازی چند مدل کوچک‌تر روی یک بستر مشترک. یک تیم پنج‌مدلی که در برابر یک مدل واحد بزرگ‌تر از یک بنچمارک دشوار برنامه‌نویسی سربلند بیرون می‌آید، ادعایی است که می‌توان آن را مستقیماً در هر پشته agent، با همان مدل‌ها، همان مجموعه وظایف و همان امتیازدهی آزمود. تیم‌هایی که استراتژی‌های orchestration را ارزیابی می‌کنند می‌توانند گردش‌کار منتشرشده را با خط پایه خودشان مقایسه کنند، بدون آنکه لازم باشد harness را از روی یک مقاله بازسازی کنند.

آنچه پوشش خبری مشخص نمی‌کند، میزان فاصله با Fable 5، تعداد تلاش‌های پشت نتیجه گزارش‌شده، یا نحوه هماهنگ‌سازی و تجمیع پنج مدل است. این جزئیات پیش از آنکه گردش‌کار به‌عنوان یک دستورالعمل عمومی تلقی شود اهمیت دارند و مخزن نمونه همان جایی است که باید بررسی شوند. موضع استودیو این است که این ادعا پیش از تکرار شدن، ارزش بازتولید دارد.

بیایید صحبت کنیم!