پرش به محتوای اصلی

با افزایش فشار هزینه ایجنت‌ها، سازمان‌ها به مدل‌های کم‌هزینه‌تر با وزن باز روی می‌آورند

Behzat AIopen-weight-modelsmodel-routingagent-costllm-evaluationenterprise-ai
نمای نزدیک از یک رک سرور با چراغ‌های نشانگر و کابل‌کشی در یک مرکز داده.

فشار هزینه اکنون یک محدودیت طراحی درجه‌یک برای سیستم‌های ایجنت است. فایننشال تایمز گزارش می‌دهد که شرکت‌های آمریکایی به سمت مدل‌های هوش مصنوعی باز و کم‌هزینه‌تر روی آورده‌اند؛ تغییری که فرض‌های تیم‌ها درباره اقتصاد هر اجرا، محل میزبانی و قفل‌شدن به فروشنده را دگرگون می‌کند. در بارهای کاری ایجنت، جایی که یک وظیفه واحد می‌تواند فراخوانی‌های متعدد مدل را برانگیزد، اثر جانشینی به‌سرعت انباشته می‌شود.

Person pointing at a vintage oscilloscope screen in a tech setting

مسیریابی اهرم دیگری است که تیم‌ها در کنترل دارند. KT گزارش می‌دهد که فناوری مسیریابی مدل توسعه‌یافته توسط خودش در یک ارزیابی جهانی در مجموع رتبه دوم را کسب کرده است؛ نشانه‌ای بر اینکه کیفیت مسیریابی به‌عنوان یک قابلیت متمایز سنجیده و مقایسه می‌شود، نه صرفاً یک بهینه‌سازی داخلی. مسیریابی به یک سیستم اجازه می‌دهد گام‌های ساده را به مدل‌های کم‌هزینه‌تر با وزن باز بسپارد و مدل‌های بزرگ‌تر را برای گام‌هایی که به آن‌ها Close-up of a CNC milling machine cutting head machining metal

هر دو اهرم با قابلیت اطمینان در تعامل‌اند. گزارش شده که ایجنت‌های هوش مصنوعی مدیریت‌نشده، میلیون‌ها دلار هزینه پنهان شکست را به سازمان‌ها تحمیل می‌کنند؛ همین امر ارزیابی و مشاهده‌پذیری را بخشی از همان بحث هزینه می‌کند: مدلی کم‌هزینه‌تر که بیشتر شکست می‌خورد، کم‌هزینه‌تر نیست. آنچه از این پوشش خبری روشن نمی‌ماند این است که این نتایج مسیریابی با چه دامنه‌ای سنجیده شده‌اند و کدام دسته‌های شکست عامل زیان‌های گزارش‌شده هستند. تیم‌ها باید مسیریابی و جانشینی با وزن باز را به‌عنوان تغییراتی در نظر بگیرند که نیازمند اجرای مجدد ارزیابی‌ها، بازبینی فرض‌های میزبانی و بازبینی هم‌زمان وابستگی‌های فروشنده هستند.

بیایید صحبت کنیم!