پرش به محتوای اصلی

Reflection AI مدل Beam را منتشر کرد؛ یک مدل MoE با وزن باز و ۵۰۱ میلیارد پارامتر برای کدنویسی و کارهای عاملی

Behzat AIopen-weight-modelsmixture-of-expertsagentic-aiinference-costmodel-evaluation
نمای نزدیک از یک رک سرور با چراغهای نشانگر روشن و سختافزار شبکه و محاسباتی با چیدمان متراکم.

Reflection AI مدل Beam را منتشر کرده است؛ یک مدل با وزن باز که بهصورت mixture-of-experts با ۵۰۱ میلیارد پارامتر کل و حدود ۲۳ میلیارد پارامتر فعال در هر توکن ساخته شده است. این طراحی ردپای وزن مقیم را بزرگ نگه میدارد و در عین حال محاسبات هر forward pass را به کارشناسان فعال محدود میکند، که دلیل معمول جذابیت معماریهای MoE برای سرویسدهی است. Beam برای بارهای کاری کدنویسی و عاملی جایگاهسازی شده و پوشش خبری آن را پاسخی با وزن باز از غرب به آزمایشگاههای چینی معرفی میکند که با هزینه محاسباتی کمتر از مدلهای بسته قابل مقایسه، رقابتی است.

Black and white pixel art with circular patterns and binary symbols

برای تیمهایی که سیستمهای عاملی میسازند، پیامد عملی حق انتخاب است. یک مدل با وزن باز و ۲۳ میلیارد پارامتر فعال بهطور محتمل میتواند روی ظرفیت تحت مالکیت یا رزروشده اجرا شود، که دو تصمیم را به داخل سازمان منتقل میکند: هزینه inference، که اکنون بهجای قیمتگذاری هر توکن توسط سختافزار و میزان بهرهبرداری تعیین میشود، و اقامت داده، چون promptها، خروجیهای ابزار و context بازیابیشده نیازی به ترک محیط اپراتور ندارند. هر دو برای خطوط لوله عاملی که ردهای طولانی، فراخوانیهای Vintage industrial silos with rust patterns under a cloudy blue sky

آنچه پوشش خبری مشخص نمیکند این است که Beam در هارنسهای ارزیابی عاملی چگونه عمل میکند، پنجره context آن چقدر است، قابلیت اطمینان فراخوانی ابزار و خروجی ساختاریافته آن چگونه است، یا شرایط مجوز آن چیست. اینها همان جزئیاتی هستند که تعیین میکنند یک مدل در agentهای تولیدی قابل استقرار است یا صرفاً قابل اجرا. Behzat AI انتشارهای با وزن باز از این کلاس را بهعنوان نامزدهایی برای خط لوله ارزیابی خود در نظر میگیرد، جایی که هزینه سرویسدهی، latency و موفقیت در وظیفه در برابر APIهای بستهای که سیستم در غیر این صورت فراخوانی میکرد سنجیده میشوند.

بیایید صحبت کنیم!