Cihaz Üzerinde Arbitraj: Hangi Agent Adımlarının Telefondan Hiç Ayrılmaması Gerektiğine Karar Vermek

Yerel bir arbiter lehine argümanlar

Tüketici agent özelliklerinin, insan etkileşiminin ritmi içinde yanıt vermesi giderek daha fazla bekleniyor: uyandırma sözcüğü işleme, bakış tahmini, sensör füzyonu, kısa metin sınıflandırma. Bu adımlar gecikmeye duyarlıdır ve ya sürekli (ses, hareket, kamera kareleri) ya da kişisel nitelikte veriler üzerinde çalışır; bu verileri uzak bir uç noktaya göndermek, işlevsel faydası az olan bir veri çıkış yüzeyi ekler. Bulut gidiş-dönüşleri maliyet, kuyruk gecikmesi ve bu adımların çoğunun geçmesine gerek olmayan bir gizlilik sınırı getirir.

Yalnızca uzak sunucuya bağlı bir agent çevrimdışı da başarısız olur. Cihaz düzeyinde bir asistan için çevrimdışı davranış bozulmuş bir mod değil, temel bir gereksinimdir. Arbiter bir uyandırma sözcüğünü veya yerel bir sınıflandırmayı ağ atlaması olmadan yanıtlayamıyorsa, özellik uçakta, asansörde veya tıkalı bir hücrede kullanılamaz. Arbiter, kısa adımları yerelde tutmak ve yükseltmeyi açık, denetlenebilir bir karar haline getirmek için vardır.

Arbiter neye karar verir

Arbiter, tek tek isteklere göre değil görev sınıfına göre yönlendirir. İşleyebilir bir ayrım:

• Yerelde kalır. Uyandırma sözcüğü işleme, ses etkinliği algılama, bakış ve sensör füzyonu, kısa sınıflandırma, küçük bir yerel indekse karşı embedding aramaları ve yalnızca yakın yerel bağlama bağlı biçimlendirme veya durum geçişleri.
• Yükseltilir. Uzun bağlam, daha büyük bir model veya cihazın erişemediği bir araca (uzak bir retrieval indeksi, bir ödeme veya rezervasyon API'si, paylaşılan çok kullanıcılı bir durum deposu) ihtiyaç duyan adımlar.

Yönlendirme kuralı, uygulama koduna gömülü bir sezgi olarak değil politika olarak kodlanmalıdır. Bir politika nesnesi, görev sınıfı başına izin verilen yürütme hedeflerini, azami yerel bağlamı, gizlilik sınıfını ve yerel hedef kullanılamadığında yedek davranışı bildirir. Uygulama arbiter'dan bir karar ister ve bir hedef ile bir gerekçe kodu alır. Bu, ayrımı denetlenebilir ve test edilebilir tutar ve iyi niyetli bir özellik dalının sessizce bir mikrofon tamponunu uzak bir uç noktaya göndermesini engeller.

Somut bir mekanizma: her adımı görev sınıfı, tahmini token veya kare bütçesi, gerekli araçlar, gizlilik sınıfı ve son tarih alanlarına sahip küçük bir tanımlayıcı olarak temsil edin. Arbiter, tanımlayıcıyı cihaz yeteneklerine (kullanılabilir yerel model, boş bellek, termal durum, ağ erişilebilirliği) göre değerlendirir ve local, remote veya defer değerlerinden birini döndürür. Karar ve girdileri her çalıştırma için kaydedilir. Bu kayıt olmadan ayrım yeniden üretilebilir değildir; kayıtla birlikte bir yükseltme yeniden oynatılabilir ve açıklanabilir.

Ayrımı şekillendiren kısıtlar

Bellek tavanı ve termal bütçe. Bir telefon, kısıtlanmadan önce yalnızca belirli sayıda yerel adım çalıştırabilir. Arbiter'ın termal payı sonradan akla gelen bir şey değil, birinci sınıf bir girdi olarak ele alması gerekir. Cihaz ısındığında doğru davranış genellikle en ucuz yerel adımları yerelde tutup gerisini ertelemek veya yükseltmek, her şeyi çalıştırıp zamanlayıcının tüm hattı bozmasına izin vermek değildir. Bu gerçek bir ödünleşimdir: termal baskı altında yükseltmek, kullanıcının fark etme olasılığının en yüksek olduğu anda bulut maliyetini ve gecikmeyi artırır, ancak yerel adımları kısıtlanmış bir duruma sürüklemek daha kötü ve daha az öngörülebilir gecikme üretir.

Model sürüm sapması. Cihaz modeli ile sunucu modeli birbirinden ayrışır. Ayrım her çalıştırma için kaydedilmedikçe — hangi adıma hangi modelin hangi sürümde hizmet verdiği — bir davranış değişikliği atfedilemez. Bir yeniden üretilebilirlik kaydı, arbiter kararını, yürütülen her adım için model tanımlayıcısını ve sürümünü ve yürürlükteki politika revizyonunu yakalamalıdır. Bu, hata ayıklanabilir bir sistem ile yalnızca derlendiği makinede doğru davranan bir sistem arasındaki farktır.

Serileştirmeden önce gizlilik sınıflandırması. Gizlilik sınıflandırması, yük serileştirildikten sonra değil önce yapılmalıdır. Bir tampon bir istek gövdesine kodlandığında, sınıflandırma artık verinin değil taşımanın bir özelliğidir ve bunun üzerine yönlendirme kararı vermek için çok geçtir. Önce adım tanımlayıcısını sınıflandırın; sonra karar verin; sonra yalnızca seçilen hedefin almasına izin verilenahalıdır.

Ayrımı test etmek

Ayrım bir sistem sınırıdır, dolayısıyla kendi değerlendirmesine ihtiyaç duyar. Üç uygulama önemlidir.

Yalnızca yerel yolu, yükseltilen yoldan ayrı ölçün. Tek bir toplu başarı oranı, yerel modelin tam da yükseltilen vakalarda başarısız olabileceği gerçeğini gizler. Görev başarısını yol başına ve her yol içinde görev sınıfı başına raporlayın. Yerel yolun başarı oranı sabitken yükseltme oranı tırmanıyorsa, yerel model bozuluyor veya girdi dağılımı kaymış demektir.

Yükseltme oranını birinci sınıf bir metrik olarak izleyin. Yükseltme oranı, yerel model sağlığının en net göstergesidir. Yükselen bir oran, cihazın buluta daha fazla yaslandığı anlamına gelir; bu da maliyeti, gecikmeyi ve gizlilik maruziyetini değiştirir. Bunu görev sınıfı ve cihaz kademesi başına izleyin ve bir uyarı eşiği değil bir gözden geçirme eşiği belirleyin: amaç, sapmayı bir maliyet veya uyumluluk sorununa dönüşmeden fark etmektir.

Çevrimdışı ve bozulmuş ağ koşullarını standart eval senaryoları olarak simüle edin. Çevrimdışı, cihaz düzeyinde bir asistan için bir uç durum değildir. Eval çalıştırmaları şunları içermelidir: tamamen çevrimdışı, yüksek gecikmeli erişilebilir ağ ve adım ortasında erişilebilir olup sonra düşen ağ. Arbiter'ın defer yolu ve yedek davranışı varsayılmamalı, çalıştırılmalıdır. Yükseltilen ve sonra ağı kaybeden bir adım tanımlı bir biçimde başarısız olmalıdır ve bu tanım eval paketine aittir.

Dürüst bir ödünleşim

Yerel öncelikli ayrım bedava değildir. Yerel bir modeli güncel tutmak, model güncellemeleri göndermek, cihaz kademesi yetenek farklılıklarını yönetmek ve bazı adımlara bulutun sunabileceğinden daha küçük bir modelin hizmet vereceğini kabul etmek anlamına gelir. Arbiter, kendisi de test edilmesi gereken bir karar katmanı ekler ve politikası modellerle birlikte sürümlenmelidir. Alternatif — yalnızca uzak sunucuya bağlı bir agent — inşa etmesi daha basit ve tutarlı tutması daha kolaydır, ancak çevrimdışı başarısız olur, her kısa adıma bir gidiş-dönüş ekler ve veri çıkış yüzeyini genişletir. Tüketici cihaz asistanları için yerel arbiter, ayrım kaydedildiği, ölçüldüğü ve bir uygulama detayı değil bir mühendislik sınırı olarak ele alındığı sürece daha savunulabilir varsayılandır.