پرش به محتوای اصلی

مدل کوچک روی‌دستگاه، هدفش درک کامل زبان روی سخت‌افزار کم‌مصرف است

Behzat AIon-device-inferenceedge-aiagent-architectureprivacy-boundarymodel-routing
عکس ماکرو از یک برد مدار متراکم که قطعات نصب‌شده روی سطح و مسیرهای رسانا را نشان می‌دهد.

بر اساس پوشش Bioengineer.org، گزارش شده است که یک مدل کوچک هوش مصنوعی درک کامل زبان را به دستگاه‌های یادگیری کم‌مصرف می‌آورد. این کار دستگاه‌هایی را هدف گرفته که هم اتصال و هم توان محاسباتی در آن‌ها محدود است؛ همان وضعیتی که برای agentهایی اهمیت دارد که باید بدون پیوند قابل‌اعتماد به یک مدل میزبانی‌شده کار کنند.

Large perforated metal silos under a clear blue sky at an industrial site

برای طراحی agent، این مسئله کمتر پرسشی درباره کیفیت مدل است و بیشتر مرز مسیریابی و حریم خصوصی. اگر سهم قابل‌استفاده‌ای از درک زبان به‌صورت محلی اجرا شود، agent می‌تواند روی دستگاه تصمیم بگیرد چه چیزی را خودش رسیدگی کند و چه چیزی را باید بالادستی بفرستد. این امر latency، میزان در معرض قرار گرفتن داده‌ها و رفتار در شرایط خرابی هنگام اتصال متناوب را تغییر می‌دهد و تقسیم میان inference محلی و فراخوانی![Close-up oClose-up of a 3D printer print head and cooling fan creating an object

این پوشش اندازه مدل، الزامات سخت‌افزاری، بنچمارک‌ها یا روش‌شناسی ارزیابی را ذکر نمی‌کند و هیچ تکرار مستقلی گزارش نشده است. این جزئیات لازم است تا بتوان این ادعا را به‌جای یک جهت حرکت، به‌عنوان یک محدودیت مهندسی در نظر گرفت. آنچه روشن است محیط هدف است: دستگاه‌هایی که هم اتصال و هم توان محاسباتی در آن‌ها کمیاب است.

بیایید صحبت کنیم!