پرش به محتوای اصلی

انویدیا پیشنهاد هزینه سالانه نرم‌افزاری به‌ازای هر GPU برای اجرای agentها روی AI factoryها را مطرح کرد

Behzat AInvidiaagent-platformsgpu-licensingcost-modellingai-factories
نمای نزدیک از یک رک سرور با گره‌های محاسباتی انباشته، کابل‌کشی و چراغ‌های نشانگر وضعیت.

بر اساس گزارش‌های منتشرشده درباره این پیشنهاد، انویدیا هزینه سالانه ۲٬۰۰۰ دلار به‌ازای هر GPU برای نرم‌افزاری که agentها را روی AI factoryها اجرا می‌کند بررسی کرده است. این رقم پایین‌تر از پلتفرم نرم‌افزاری موجود شرکت، یعنی AI Enterprise، قرار دارد که هم‌اکنون بیش از دو برابر این مبلغ برای آن دریافت می‌شود. جزئیات مربوط به نحوه هم‌پوشانی این دو محصول هنوز روشن نیست.

نمای نزدیک از رک‌های سرور روشن در یک مرکز داده، نمایش زیرساخت فناوری مدرن

اهمیت این موضوع برای تیم‌های پلتفرم agent ساختاری است، نه حاشیه‌ای. قیمت‌گذاری به‌ازای هر token با حجم بار کاری مقیاس می‌گیرد؛ در حالی که لایسنس‌دهی به‌ازای هر شتاب‌دهنده یک هزینه ثابت است که پیش از اجرای هر agent تحمیل می‌شود. این امر مدل هزینه معمول برای یک ناوگان agent را معکوس می‌کند: برنامه‌ریزی ظرفیت، نه حجم inference، به محرک اصلی هزینه پایه تبدیل می‌شود و شتاب‌دهنده‌های بیکار یا کم‌استفاده همان بار لایسنس را تحمل می‌کنند که شتاب‌دهنده‌های اشباع‌شده. تیم‌هایی که اقتصاد واحد سیستم‌های چند-agent را مدل‌سازی می‌کنند باید کف لایسنس را از هزینه زمان اجرا جدا کنند و فرضیات بهره‌برداری را بر همین اساس تحت آزمون فشار قرار دهند.

آنچه هنوز مشخص نیست: اینکه آیا هزینه پیشنهادی افزودنی به AI Enterprise است یا یک سطح جایگزین، چه چیزی تحت این شرایط AI factory محسوب می‌شود، و چگونه لایسنس در سخت‌افزار اشتراکی یا پارتیشن‌بندی‌شده اندازه‌گیری می‌شود. Behzat AI این موارد را متغیرهای باز می‌داند. تا زمانی که شرایط منتشر نشود، بودجه ناوگان agent باید هزینه هر GPU را به‌عنوان یک ردیف سناریویی و نه رقمی قطعی در نظر بگیرد، همراه با تحلیل حساسیت روی تعداد شتاب‌دهنده و بهره‌برداری. استودیو مدل را زمانی بازبینی خواهد کرد که انویدیا هم‌پوشانی میان این دو محصول نرم‌افزاری را روشن کند.

بیایید صحبت کنیم!