Ana içeriğe geç

OpenAI, daha hızlı agent çalıştırmaları ve yarı yarıya token maliyetiyle GPT-6.1 Terra'yı duyurdu

Behzat AIagent-economicstoken-costmodel-routingprompt-cachingllm-infrastructure
Bir veri merkezinde istiflenmiş ağ donanımı, gösterge ışıkları ve kablolarla dolu bir sunucu rafının yakın çekimi.

SiliconANGLE'a göre OpenAI, önceki modellerin yarı fiyatına daha hızlı ve daha iyi performans gösteren AI agent'ları için konumlandırdığı GPT-6.1 Terra'yı duyurdu. Agent filoları işleten ekipler için token başına ekonomideki bir sıçrama, talep üzerine değil sürekli olarak nelerin çalıştırılabileceğini değiştiriyor. Aynı zamanda daha önceki maliyet profillerine göre ayarlanmış yönlendirme ve önbellekleme kararlarının yeniden değerlendirilmesini zorunlu kılıyor.

3D visualization of neural network connections in digital space

Sürüm, Amazon Bedrock üzerindeki OpenAI modelleri için prompt önbellekleme desenlerine ilişkin AWS rehberliğiyle birlikte geliyor; bu da önbelleklemenin sonradan düşünülen bir şey değil, birinci dereceden bir kaldıraç olduğuna işaret ediyor. Piyasa bağlamı baskıyı pekiştiriyor: Global Times'a göre DeepSeek'in V4.1-Flash-1017'si token hacminde %801'lik bir artışla haftalık kullanım sıralamalarında zirveye yerleşti. Maliyet artık adı konmuş bir dağıtım kapısı; City Journal'da AI ekonomisini kısıtlayan bir "token vergisi" üzerine yorumlar var.

Sağlanan haber kapsamından netleşmeyen şeyler, fiyat indiriminin model kademeleri genelindeki kapsamı, "daha hızlı" iddiasının arkasındaki gecikme rakamları ve önbellekleme rehberliğinin bölgeler genelinde tekdüze uygulanıp uygulanmadığı. Stüdyonun tutumu, token başına ekonominin bir yönlendirme girdisi olarak ele alınması gerektiği yönünde: model seçimi, önbellek isabet oranları ve görev ayrıştırması birbiriyle etkileşir ve yeniden denemeler ile bağlam büyümesi yönetilmezse birim maliyetin yarıya inmesi filo harcamasını otomatik olarak yarıya indirmez.

Konuşalım!