Ayrım uygulama başına değil, adım başınadır
Bir telefon agent'ı tek bir gizlilik duruşuna sahip tek bir program değildir. Bir adımlar dizisidir: yerel bağlam üzerinde retrieval, ilk geçiş sınıflandırma, redaksiyon, planlama, sentez, tool çağrısı, yanıt birleştirme. Her adımın farklı bir veri profili ve farklı bir hesaplama profili vardır. Cihaz ile upstream arasındaki sınırı uygulama düzeyinde bir özellik olarak ele almak — bu uygulama yerel, şu uygulama bulut — ilk modelleme hatasıdır, çünkü aynı agent, kendisine verilen göreve bağlı olarak veriyi sınırın ötesine farklı şekilde taşıyacaktır.
Yerel bağlam üzerinde retrieval, cihaz üzerinde yürütme için açık bir adaydır. İndeks zaten yerleşiktir, sorgu küçüktür ve sonuç kümesi yerel depolamaya işaret eden bir işaretçiler kümesidir. İlk geçiş sınıflandırma da benzer şekilde yereldir: bir mesajın kişisel tanımlayıcı içerip içermediğine, bir görüntünün yüz içerip içermediğine, bir belge kesitinin hassas olup olmadığına karar vermek, tek çıktısı bir etiket ve bir güven değeri olan kompakt bir modelle yapılabilir. Redaksiyon yerel bir dönüşümdür: bir span ve bir politika verildiğinde, cihazdan herhangi bir şey çıkmadan önce onu değiştir veya maskele.
Çok adımlı planlama ve uzun bağlamlı sentez genellikle kabul edilebilir kalitede yerel olarak çalıştırılamaz. Planlama, çalışma belleğinde bir görev grafiği tutmayı, aday ayrıştırmaları karşılaştırmayı ve bunları ara sonuçlara göre revize etmeyi gerektirir. Uzun bağlamlı sentez, etkileşimli gecikmede bir telefon hızlandırıcısının tutabileceğinden daha fazla token üzerinde attention gerektirir. Dolayısıyla sınır göreve göre hareket eder ve doğru tasarım sorusu "bu uygulama yerel mi?" değil, "bu görevde hangi adımlar yerel ve sınırın ötesine tam olarak ne geçiyor?"dur.
Sınırı ne belirler
Üç faktör çizgiyi belirler ve farklı yönlere çeker.
Veri sınıfı. Kişisel tanımlayıcılar, görüntüler ve mesaj içeriği farklı yükümlülükler taşır. Bir tanılama günlüğündeki cihaz tanımlayıcısı, özel bir mesajın metniyle aynı şey değildir, her ikisi de string olsa bile. Sınıflandırma yük başına değil, alan başına ve span başına olmalıdır: tek bir istek, her biri farklı bir işleme kuralına sahip, redakte edilmiş bir mesaj gövdesi, redakte edilmemiş bir zaman damgası ve kaba bir konum içerebilir. Yükümlülük taşımaya değil, veri sınıfına bağlıdır.
Gecikme bütçesi. Yerel arbitraj milisaniyeler ekler. Uzak bir planlayıcıya gidiş-dönüş yüzlerce ekler. Bu asimetri, sınırın gizlilik kararı olduğu kadar gecikme kararı olmasının nedenidir. Bir adım etkileşim bütçesi içinde yerel olarak kararlaştırılabiliyorsa, onu upstream'e göndermek az şey kazandırır ve bir açıklamaya mal olur. Bir adım bütçeyi aşmadan yerel olarak kararlaştırılamıyorsa, ödünleşim tersine döner. Mühendislik görevi, birini varsaymak yerine her adım için her iki tarafı da ölçmektir.
Model yetenek açığı. Yanlış bir yerel kararın maliyeti, açıklamanın maliyetiyle simetrik değildir. Zararsız bir span'ı hassas olarak yanlış etiketleyen yerel bir sınıflandırıcı gereksiz bir redaksiyona neden olur; hassas bir span'ı zararsız olarak yanlış etiketleyen yerel bir sınıflandırıcı bir açıklamaya neden olur. Yerel ve uzak model yeteneği arasındaki açık, her hatanın ne sıklıkla oluştuğunu belirler ve politika hangi hatanın daha kötü olduğunu belirler. Açığın küçük ve açıklama maliyetinin yüksek olduğu yerde yerel yürütme kazanır. Açığın büyük ve adımın düşük hassasiyetli olduğu yerde upstream yürütme kazanır.
Somut bir mekanizma: her adımı, beyan edilmiş bir veri sınıfı, beyan edilmiş bir gecikme bütçesi ve beyan edilmiş bir fallback içeren bir kayıt olarak temsil et. Tasarım zamanında kayıt bir yerleşime çözülür — cihaz, upstream veya upstream'e yükseltmeli cihaz. Çalışma zamanında agent, yerleşimi yeniden türetmek yerine ona başvurur. Bu, kararı denetlenebilir tutar ve çalışma zamanı yolunu test edilemeyen politika mantığından arındırır.
Sınırı denetlenebilir kılmak
Kaydedilmeyen bir sınır gözden geçirilemez. Her giden yük, onu üreten adım ve uygulanan politika sürümüyle birlikte günlüğe kaydedilmelidir. Günlük girdisi yükün kendisi değildir; bir denetçinin bu verinin bu adımda bu kural altında cihazdan neden çıktığını yeniden oluşturmasını sağlayan üst veridir.
Redaksiyon kuralları sürümlenmiş artefaktlar olmalıdır. Bir kural değiştiğinde sürüm değişir ve neyin redakte edildiğindeki herhangi bir gerileme, giden günlüklerin sürümler arasında karşılaştırılmasıyla tespit edilebilir hale gelir. Sürümleme olmadan, bir kural değişikliği bir olay üretene kadar görünmezdir. Sürümlemeyle, bir diff üretir.
Sınırı test etmek, yalnızca temsili girdiler değil, düşmanca girdiler gerektirir. Temsili girdiler mutlu yolun yerel kaldığını doğrular. Düşmanca girdiler kenarları yoklar: kişisel tanımlayıcının iki span'a bölünmüş olarak yer aldığı bir mesaj, üst verisi bir konum taşıyan bir görüntü, hassas bölümü yalnızca daha önceki bir retrieval sonucuyla birlikte hassas olan bir belge. Bunlar, uygulama başına bir sınırın başarısız olduğu ve adım başına bir sınırın tutunduğu durumlardır.
Kullanışlı bir test koşum takımı sınırı bir sözleşme olarak ele alır: bir girdi ve bir görev verildiğinde, hangi adımların yerel olarak yürütüldüğünü ve giden yükte hangi alanların göründüğünü doğrula. Doğrulama, modelin çıktısı üzerinde değil, yükün şekli üzerindedir, böylece modeller değiştikçe sabit
Bunun başarısız olduğu yer
Yerel model kullanılamadığında sessizce her şeyi göndermeye düşen cihaz tarafı bir politika, politika değildir. Tam da verinin hassas olma olasılığının en yüksek olduğu koşullarda — kısıtlı cihaz, eksik model, bozulmuş hızlandırıcı — tasarım niyetini tersine çeviren bir fallback'tir. Hata sessizdir çünkü agent hâlâ bir yanıt üretir; yalnızca sınır hareket etmiştir.
Dürüst ödünleşim, katı bir sınırın agent'ı bazı cihazlarda kullanılamaz hale getirebilmesidir. Yerel model yoksa ve politika hassas bir adımın upstream yürütülmesini yasaklıyorsa, adım başarısız olmalıdır, bozulmamalıdır. Görünür şekilde başarısız olmak ürün için daha kötü, kullanıcı için daha iyidir. Tasarım kararı, hangi adımların kapalı başarısız olmasına izin verildiğidir ve bu karar, veri sınıfı ve gecikme bütçesinin yanında, adım başına, tasarım zamanına aittir.
Aynı mantık yükseltme için de geçerlidir. Upstream'e yükseltmeli cihaz yerleşimi, yalnızca yükseltmenin kendisi kendi veri sınıfına ve kendi redaksiyonuna sahip beyan edilmiş bir adımsa meşrudur. Redaksiyonu atlayan yükseltme yükseltme değildir; fazladan adımlarla açıklamadır.
Çalışma zamanı değil, tasarım zamanı
Çalışma zamanı gizlilik filtreleri çekicidir çünkü merkezîdir ve güncellenmesi kolaydır. Aynı zamanda bu karar için yanlış yerdir, çünkü bir çalışma zamanı filtresi bir yükü gördüğünde, onu üreten adım zaten bir veri şekline bağlanmıştır. Filtre alanları maskeleyebilir, ancak onları birleştirmek için harcanan gecikme bütçesini geri kazanamaz ve bu alanlardan hangilerinin adım tarafından gerçekten gerekli olduğunu bilemez.
Tasarım zamanı arbitrajı sırayı tersine çevirir. Adım neye ihtiyacı olduğunu beyan eder, politika nerede çalıştığını çözer ve yük bu çözüme göre birleştirilir. Çalışma zamanı yolu o zaman bir yargı kararı değil, bir aramadır. Bu, başlangıçta daha fazla iş ve üretimde daha az iştir ve sınırın sonradan denetlenebilecek tek versiyonudur.
Pratik sonuç, sınırın bir spesifikasyon artefaktı haline gelmesidir. Herhangi bir arayüz gibi gözden geçirilebilir, sürümlenebilir ve test edilebilir. Bu, kişisel veri işleyen bir agent'ın tutulması gereken standarttır ve metrik icat etmeden ulaşılabilir: mekanizma kayıt, sürüm ve düşmanca testtir ve bunların her biri kendi koşullarında incelenebilir.