Yönlendirme neden bir maliyet kaldıracı gibi görünür
Model yönlendirme genellikle bir harcama kontrolü olarak sunulur. Vaadi basittir: büyük bir frontier model zor vakaları ele alır, daha küçük bir açık ağırlıklı model rutin olanları ele alır ve bir sınıflandırıcı, kolay görünen her isteği daha ucuz katmana yönlendirir. Açık ağırlıklı modeller rutin işlerin geniş bir bandında iyileştiği için toplam fatura düşer ve demo hâlâ geçer. Görünür kazanç harcamadır. Görünmez maliyet, kuyruktaki görev başarısızlığıdır.
Başarısızlık modu yapısaldır, tesadüfi değildir. Bir yönlendirici, bir isteği bir modele eşleyen bir politikadır. Politika, token başına maliyet gibi bir vekil üzerinden optimize edilirse, daha fazla trafiği daha ucuz modele göndermeyi öğrenir. Bu, vekil için doğru davranıştır ve ürün için yanlış davranıştır; çünkü ucuz model, vekilin ayırt etmediği bir görev sınıfında yalnızca yaklaşık olarak doğrudur. Toplu benchmark'lar bunu gizler çünkü görev sınıfları üzerinden ortalama alırlar. Tek bir skor raporlayan bir yönlendirme benchmark'ı, kullanıcılar için önemli olan eşiğin altına düşen belirli bir görev sınıfı varken iyileşebilir.
Bir yönlendirici neye karşı değerlendirilmelidir
Bir yönlendirici, kritik yol üzerindeki bir bileşendir ve davranışı sessizce değiştirebilen diğer her bileşen gibi aynı değerlendirme disiplinine ihtiyaç duyar. Bir yönlendirme politikasının yayına alınmasına izin verilmeden önce üç şey gerekir.
Görev başına geçme kriterleri olan dondurulmuş bir görev seti. Set, her biri açık bir geçme koşuluna sahip temsili görevlerden oluşur. Geçme koşulları set başına değil, görev başına olmalıdır. Tek bir sayı raporlayan bir set, yönlendiriciyi birçok görevde küçük bir kaybı birkaç görevde büyük bir kazançla değiş tokuş etmeye davet eder. Görev başına kriterler bu değiş tokuşu görünür kılar. Set, kod gibi sürümlenir: bir görev eklendiğinde, kaldırıldığında veya kriterleri değiştiğinde sürüm değişir ve yönlendirme değişiklikleri aynı sürümle karşılaştırılır.
Yeniden denemeleri, yükseltmeleri ve insan incelemesini içeren bir maliyet modeli. Inference maliyeti, bir yönlendirme kararının gerçek maliyetinin en küçük parçasıdır. Sık başarısız olan ucuz bir model, bir yeniden denemeyi, daha büyük modele yükseltmeyi veya bir insan incelemesini tetikler. Bunların her birinin bir maliyeti vardır ve her biri yönlendirme kararının bir sonucudur. Yalnızca inference'ı sayan bir maliyet modeli, uçtan uca maliyet daha yüksek olsa bile sistematik olarak ucuz modeli tercih eder. Model, yeniden denemeleri ve yükseltmeleri bunlara neden olan yönlendirme kararına atfetmelidir; böylece politika tüm yol üzerinden yargılanır.
Herhangi bir görev sınıfı eşiğin altına düştüğünde bir yönlendirme değişikliğini bloke eden bir regresyon kapısı. Kapı, uygulama mekanizmasıdır. Aday politikayı mevcut politikayla dondurulmuş set üzerinde karşılaştırır ve toplam iyileşse bile herhangi bir görev sınıfı eşiğinin altına düşerse adayı terfi ettirmeyi reddeder. Kapı, yönlendirmeyi bir maliyet deneyinden geri alma hikâyesi olan bir mühendislik değişikliğine dönüştüren şeydir.
Kapı için somut bir mekanizma eşleştirilmiş karşılaştırmadır. Set'teki her görev için hem mevcut hem de aday politikayı çalıştırın, sonucu kaydedin ve sınıf başına geçme oranını hesaplayın. Aday yalnızca her sınıf eşiğinde veya üzerindeyse ve toplam daha kötü değilse terfi ettirilir. Bu, tek bir toplu çalıştırmadan daha pahalıdır, ancak bir ortalamanın içinde saklanan bir regresyonu yakalamanın tek yolu budur.
Tasarım notları
Görev özelliklerine göre yönlendirin, yalnızca prompt uzunluğuna göre değil. Prompt uzunluğu, zorluk için zayıf bir vekildir. Kısa bir prompt zor bir akıl yürütme görevi olabilir; uzun bir prompt rutin bir çıkarım olabilir. Daha iyi özellikler arasında görev türü, yapılandırılmış çıktı gereksinimlerinin varlığı, yörüngenin muhtemelen ihtiyaç duyacağı tool call sayısı ve modelin kendi güven sinyalleri bulunur. Özellik seti, yönlendiricinin arayüzünü
Güven sinyalleri bozulduğunda yönlendiricinin yörünge ortasında yükseltme yapmasına izin verin. Bir yörüngenin başında verilen tek bir karar kırılgandır. Bir model kendinden emin başlayıp sonra düşük güvenli token'lar, tekrarlanan kendi kendini düzeltmeler veya hata döndüren tool call'lar üretebilir. Yönlendirici, bu sinyaller bir eşiği geçtiğinde yörünge ortasında daha güçlü bir modele yükseltebilmelidir. Bu, statik bir sınıflandırıcı ile bir kontrol döngüsü arasındaki farktır. Kontrol döngüsü istek başına daha pahalıdır ancak statik bir politikanın başarısız olacağı görevleri kurtarır.
Yönlendirme kararını sonuçla birlikte kaydedin. Her istek, hangi modelin seçildiğini, seçimi hangi özelliklerin yönlendirdiğini, bir yükseltmenin gerçekleşip gerçekleşmediğini ve nihai sonucun ne olduğunu kaydetmelidir. Bu log olmadan politika denetlenemez ve regresyonlar atfedilemez. Log aynı zamanda yönlendiricinin bir sonraki sürümü için eğitim verisidir.
Ödünleşimler
Daha ince yönlendirme granülerliği latency ve karmaşıklık maliyeti getirir. Birçok özelliği inceleyen ve yörünge ortasında yükseltebilen bir yönlendirici, her isteğe latency ve sisteme karmaşıklık ekler. Daha kaba yönlendirme daha hızlı ve daha basittir ancak daha az doğrudur. Doğru granülerlik, yanlış bir yönlendirme kararının maliyetinin latency maliyetine oranına bağlıdır.
Yükseltme yollarının kendi bütçesi olmalı, yoksa varsayılan hâline gelir. Yükseltme ücretsizse, yönlendirici her şeyi yükseltir ve daha ucuz katman dekoratif hâle gelir. Yükseltme yolunun bir bütçeye ve bir eşiğe ihtiyacı vardır ve bunlar aynı dondurulmuş set üzerinden ayarlanmalıdır. Aksi takdirde yönlendirici en güçlü modele çöker ve yönlendirme katmanı saf ek yük olur.
Değerlendirme düzeneği olmayan bir yönlendirici, kritik yolda ölçülmemiş bir bağımlılıktır. Bu, makalenin merkezindeki dürüst ödünleşimdir. Yönlendirme maliyeti düşürebilir ve sonuçları iyileştirebilir, ancak yalnızca sonuçlar üzerinden ölçülürse. Token başına maliyet için optimize edilen ve görev başına değerlendirilmeyen bir yönlendirici, sessizce başarısız olabilecek bir bağımlılıktır ve kritik yolda sessiz başarısızlık, daha yüksek bir faturadan daha kötüdür. Değerlendirme düzeneği isteğe bağlı bir ek yük değildir; optimizasyonu güvenli kılan şeydir.
Pratik sonuç, yönlendirmenin değerlendirme öncelikli olarak inşa edilmesi gerektiğidir. Politikayı ayarlamadan önce görev setini, görev başına geçme kriterlerini, tam maliyet modelini ve regresyon kapısını tanımlayın. Sonra optimize edin. Sıra önemlidir çünkü amaç fonksiyonu yönlendiricinin ne öğrendiğini belirler. Önce maliyeti optimize edin, yönlendirici ucuz olmayı öğrenir. Bir maliyet kısıtı altında sonuçları optimize edin, yönlendirici faydalı olmayı öğrenir.