پرش به محتوای اصلی

ایسوس Ascent GX10 با ۶۴ گیگابایت برای بارهای کاری هوش مصنوعی عاملیِ محلی عرضه می‌شود

Behzat AIlocal-inferenceagent-architectureedge-hardwareon-device-aismall-models
عکس ماکرو از یک برد مدار که اجزای نصب‌شده روی سطح و مسیرهای مسی را نشان می‌دهد.

ایسوس از Ascent GX10 با ۶۴ گیگابایت رونمایی کرده است؛ ابررایانه‌ای فشرده برای هوش مصنوعی عاملی. موضع‌گیری صریح است: این دستگاه برای اجرای بارهای کاری عامل به‌صورت محلی و نه از طریق APIهای میزبانی‌شده هدف‌گذاری شده است. این محصول همزمان با موجی از انتشار مدل‌های کوچک که برای inference روی دستگاه طراحی شده‌اند معرفی می‌شود.

Person touching a plasma ball with colorful filaments in a dark room

برای تیم‌هایی که سیستم‌های عامل می‌سازند، پیامد جالب توجه توان خام نیست، بلکه تصمیم‌گیری درباره محل اجرا است. اگر سهم معناداری از گام‌های عامل بتواند روی سخت‌افزار محلی اجرا شود، پرسش طراحی از «کدام مدل را فراخوانی کنیم» به «کدام گام‌ها اصلاً باید دستگاه را ترک کنند» تغییر می‌کند. tool callها، retrieval، حلقه‌های planning و استدلال میانی می‌توانند به‌عنوان تصمیم‌های جداگانه‌ای در![Light ![SSoft rainbow light spectrum reflected on a neutral grey wall indoors

این موضوع کار evaluation را تغییر می‌دهد. یک استک عاملِ محلی‌محور نیازمند سنجش این است که وقتی یک گام از شبکه خارج می‌شود چه چیزی افت می‌کند، و وقتی زیر فشار حافظه روی دستگاه نگه داشته می‌شود چه چیزی می‌شکند. رقم ۶۴ گیگابایت اینجا به‌عنوان یک محدودیت ظرفیت مهم است، نه یک بنچمارک: این رقم تعیین می‌کند که چه مقدار context، وزن مدل و وضعیت کاری می‌توانند همزمان وجود داشته باشند.

آنچه از پوشش ارائه‌شده نامشخص می‌ماند: قیمت‌گذاری، تاریخ‌های عرضه، سیلیکون مشخص، runtimeهای پشتیبانی‌شده و هرگونه throughput یا نرخ token اندازه‌گیری‌شده. هیچ ادعای عملکردی در اینجا مطرح نمی‌شود. نتیجه عملی فعلی این است که inference عاملِ محلی در حال تبدیل شدن به یک دسته سخت‌افزاری با محصولات نام‌دار است، که این سیاست محل اجرا را به بخشی صریح از معماری عامل تبدیل می‌کند، نه یک فکر بعد از عمل.

بیایید صحبت کنیم!