پرش به محتوای اصلی

OpenAI از GPT-6.1 Terra با اجرای سریع‌تر agent و نصف هزینه token رونمایی کرد

Behzat AIagent-economicstoken-costmodel-routingprompt-cachingllm-infrastructure
نمای نزدیک از یک رک سرور با سخت‌افزار شبکه انباشته، چراغ‌های نشانگر و کابل‌کشی در یک مرکز داده.

به گزارش SiliconANGLE، OpenAI مدل GPT-6.1 Terra را با هدف ارائه agentهای سریع‌تر و با عملکرد بهتر با نصف قیمت مدل‌های پیشین معرفی کرده است. برای تیم‌هایی که ناوگان‌های agent را اداره می‌کنند، تغییر بنیادین در اقتصاد هر token تعیین می‌کند چه چیزی می‌تواند به‌صورت مداوم و نه بر اساس تقاضا اجرا شود. همچنین بازنگری در تصمیم‌های routing و caching را که بر اساس پروفایل‌های هزینه پیشین تنظیم شده بودند ضروری می‌سازد.

3D visualization of neural network connections in digital space

این انتشار همزمان با راهنمای AWS درباره الگوهای prompt caching برای مدل‌های OpenAI روی Amazon Bedrock منتشر شده است که caching را به‌عنوان اهرمی درجه‌یک و نه موضوعی فرعی معرفی می‌کند. زمینه بازار این فشار را تقویت می‌کند: بر اساس گزارش Global Times، مدل V4.1-Flash-1017 از DeepSeek با جهش ۸۰۱ درصدی در حجم token، صدر رتبه‌بندی استفاده هفتگی را به دست آورد. هزینه اکنون به یک معیار صریح برای استقرار تبدیل شده است و بحث‌هایی درباره «مالیات token» که اقتصاد AI را در City Journal محدود می‌کند مطرح می‌شود.

آنچه از پوشش ارائه‌شده روشن نیست، دامنه کاهش قیمت در میان سطوح مختلف مدل، اعداد latency پشت ادعای «سریع‌تر» و این است که آیا راهنمای caching به‌طور یکسان در همه مناطق اعمال می‌شود. موضع استودیو این است که اقتصاد هر token باید به‌عنوان ورودی routing در نظر گرفته شود: انتخاب مدل، نرخ cache hit و تجزیه وظایف همگی بر یکدیگر اثر می‌گذارند و نصف شدن هزینه واحد به‌طور خودکار هزینه ناوگان را نصف نمی‌کند اگر retryها و رشد context مدیریت نشوند.

بیایید صحبت کنیم!