Sızıntı bir veri akışı hatasıdır
Bir agent, girdi olarak sağlanan artefaktları yayımladığında, başarısızlık modelin sızdırmayı öğrenmesi değildir. Başarısızlık, sistemin bir girdiyi bir çıktıdan ayırt edecek ya da içerik bu sınırı geçmeden önce açık bir ihraç kararı gerektirecek bir mekanizmaya sahip olmamasıdır. Model, modellerin yaptığını yaptı: bağlamından metin üretti veya medya seçti. Kusur, pipeline'ın üretilen çıktıyı varsayılan olarak güvenli kabul etmesi ve ona giren veriler üzerinde taint takibi yapmamasıdır.
Bu ayrım önemlidir çünkü düzeltmeyi değiştirir. Sorun bir hizalama hatası olarak çerçevelenirse, ekipler davranışsal müdahalelere yönelir: prompt talimatları, reddetme eğitimi, çıktı sınıflandırıcıları. Bunlar bazı zarar sınıfları için faydalıdır, ancak provenance için yanlış katmandır. Modelin davranışını incelerler, verinin yolculuğunu değil. Bir model mükemmel şekilde hizalanmış olabilir ve yine de pipeline o görüntüyü kimseye sormadan giden bir mesaja eklediğinde kullanıcının görüntüsünü yayabilir.
Agent'ların laboratuvarın bilgisi dışında kullanıcı görüntülerini yayımladığına dair raporlar bu örüntüyü gösterir: görüntüler bir iş akışına girdiydi ve başarısızlık, hiçbir yerde bir ihraç kararı verilmeden çıktı haline gelmeleridir. Bu, çözülebilir bir veri akışı hatasıdır. Etiketler, yayılım kuralları ve egress kapılarıyla düzeltilebilir. Hizalama tarzı açıklamalar bu çözülebilirliği gizler.
Agent pipeline'ları için taint takibi
Taint takibi, işletim sistemlerinden ve güvenli bilgi akışından iyi anlaşılmış bir fikirdir: veriyi sisteme girdiğinde işaretle, işareti her dönüşüm boyunca yay, ve işaretli veriyi açık bir serbest bırakma olmadan güvenilmeyen bir sink'e gönderecek işlemleri engelle. Agent pipeline'ları da aynı disipline ihtiyaç duyar; metne, görüntülere, embedding'lere ve tool call'lara uyarlanmış olarak.
Girişte etiketle
Bağlam penceresine giren her artefakt en az iki alan taşımalıdır:
- bir hassasiyet sınıfı (örneğin: public, internal, confidential, personal-data)
- bir kaynak tanımlayıcısı (hangi kullanıcı, hangi yükleme, hangi bağlayıcı, hangi retrieval isabeti)
Bu etiketler, artefaktın çalıştırmaya girdiği sınırda eklenmelidir; sonradan içerikten çıkarılmamalıdır. Çıkarım kayıplıdır ve düşmancadır. Bir dosya tanımlayıcısı, bir veritabanı satırı veya bir yükleme olayı verinin nereden geldiğini bilir; bir özetleyici bilmez.
Dönüşüm boyunca yay
Etiketler özetleme, embedding, yeniden üretim ve başka sözcüklerle ifade etme boyunca hayatta kalmalıdır. Çoğu uygulamanın başarısız olduğu yer burasıdır, çünkü agent'ları faydalı kılan dönüşümler aynı zamanda meta veriyi sıyıran dönüşümlerdir. Somut bir mekanizma: bağlamı, her biri metnini veya medya referansını artı provenance kümesini taşıyan tipli span'lerin bir listesi olarak temsil edin. Model bir özet ürettiğinde, özetin provenance'ı, koşullandığı span'lerin provenance'larının birleşimidir. Özet embedding'lendiğinde, embedding bu birleşimi devralır. Embedding alınıp yeni bir paragraf üretmek için kullanıldığında, paragraf onu yeniden devralır.
Bu birleşim kuralı muhafazakârdır: aşırı taint uygular. Hem bir public belge hem de bir confidential belge bağlamdaysa, üretilen çıktı confidential'dır. Bu, güvenlik için doğru varsayılandır, ancak gerçek bir ödünleşimdir. Aşırı taint, agent'ın faydasını azaltır, çünkü serbest bırakılabilecek çıktılar engellenir veya inceleme gerektirir. Ekipler bunu provenance farkındalıklı promptlama (yalnızca görev için gereken span'lere koşullandırma) ve modelin yargısında örtük değil, açık ve kayıtlı declassification kurallarıyla hafifletebilir.
Egress'i kapıla
İçeriği çalıştırmanın dışına çıkarabilecek her yol, çıkarılan içeriğin provenance'ına başvurmalıdır. Egress yolları şunları içerir:
- harici kanallara gönderilen mesajlar
- paylaşılan depolamaya dosya yazımları
- üçüncü taraf API'lere gönderi yapan tool call'lar
- işlenen sayfalar veya ekler
- harici gözlemlenebilirlik servislerine gönderilen log'lar ve trace'ler
İçerik, hedefin izin verdiği hassasiyetin üzerinde taint'liyse, bir serbest bırakma kararı yoksa egress engellenir. Bir serbest bırakma kararı artefaktı, hedefi, izin veren politikayı ve yetkilendiren principal'ı adlandırmalıdır. Sonradan sorgulanabilecek bir depoda kaydedilmelidir.
Minimal bir uygulama noktası bir politika kontrolü olarak ifade edilebilir:
def can_export(artefact, destination):
if destination.allowed_sensitivity < artefact.sensitivity:
return require_release(artefact, destination)
return True
Önemli özellik, bu kontrolün modelin içinde değil, egress yolunda çalışmasıdır. Modelin hangi girdilerin hassas olduğunu hatırlamasına güvenilemez; pipeline'a güvenileb
Retrieval'ı salt okunur, üretimi güvenli saymak
Yaygın bir zihinsel model, pipeline'ı bir okuma aşaması (retrieval, tool call'lar) ve bir yazma aşaması (üretim, yayımlama) olarak böler. Okuma aşamasının güvenli olduğu varsayılır çünkü yalnızca okur. Yazma aşamasının güvenli olduğu varsayılır çünkü yalnızca yeni içerik yazar. İkisi bağlam penceresiyle birleşir ve provenance tam o birleşimde kaybolur. Retrieval etiketlemiyorsa ve üretim yaymıyorsa, yazma aşamasının çıktısının bir kullanıcının özel yüklemesinden türediğini bilmesinin hiçbir yolu yoktur.
Düzeltme, bağlam penceresini provenance'ı olan bir veri yapısı olarak ele almaktır, opak bir string olarak değil. Bu, yalnızca uygulamanın değil, agent framework'ünün de mesaj tipleri boyunca etiketleri taşıması gerektiği anlamına gelir.
Metni inceleyen ama ekli medyayı incelemeyen çıktı filtrelerine güvenmek
Çıktı filtreleri tipik olarak üretilen metni örüntüler için tarar: PII, secret'lar, yasaklı string'ler. Ekli görüntüleri, sesleri veya dosyaları nadiren inceler. Bir kullanıcının görüntüsünü bir mesaja ekleyen bir agent, her metin filtresini geçebilir ama görüntüyü sızdırabilir. Filtre zararsız bir başlık görür; ek incelenmez.
Medya egress'i, metinle aynı provenance kontrollerine ihtiyaç duyar. Çalıştırmaya kullanıcı yüklemesi olarak giren bir görüntü bir hassasiyet etiketi ve bir kaynak tanımlayıcısı taşımalıdır ve onu giden bir mesaja ekleme girişimi bu etikete başvurmalıdır. İçerik tabanlı medya sınıflandırıcıları bunu tamamlayabilir, ancak provenance'ın yerini tutamazlar, çünkü kullanıcının bu belirli ihraca rıza gösterip göstermediğini bilemezler.
Minimal bir sözleşme
Agent çalıştırmaları için işleyebilir bir sözleşme, birkaç satırda ifade edilebilecek kadar küçüktür:
- Hiçbir artefakt, kaynağını ve serbest bırakmaya izin veren politikayı adlandıran bir provenance kaydı olmadan bir çalıştırmadan ayrılmaz.
- Provenance kayıtları, yalnızca bir log sink'ine yazılmakla kalmaz, sonradan sorgulanabilir.
Sorgulanabilirlik, ekiplerin atladığı kısımdır. Provenance'ı append-only bir log'a yazmak gereklidir ama yeterli değildir. Bir olay meydana geldiğinde, soru yalnızca "ne oldu" değil, "hangi kaynaklardan hangi artefaktlar hangi politikalar altında hangi hedeflere ulaştı"dır. Bu bir sorgudur ve çalıştırmayı ham log'lardan yeniden inşa etmeden yanıtlanabilmelidir. Artefakt tanımlayıcısı, kaynak, hassasiyet, dönüşüm geçmişi, hedef, politika ve yetkilendiren principal için alanları olan bir provenance deposu, olay incelemesini bir arkeoloji projesi yerine bir arama haline getirir.
Ödünleşim operasyonel maliyet ve sürtünmedir. Provenance takibi her bağlam span'ine meta veri ekler, bu da token kullanımını ve mühendislik karmaşıklığını artırır. Egress kapıları gecikme ekler ve meşru iş akışlarını engelleyebilir. Declassification iş akışları insan incelemesi ekler. Bu maliyetler gerçektir ve ekipler ilk günden tam bilgi akışı kontrolü denemek yerine uyguladıkları hassasiyet sınıflarını ve egress yollarını kapsamlandırmalıdır. Önemli olan yollarda dar ve uygulanan bir sözleşme, geniş ve uygulanmayan bir sözleşmeden daha değerlidir.
Alternatif, sızıntıları hizalama hatası olarak ele almaya devam etmek ve verinin geçmişini göremeyen prompt değişiklikleri ve çıktı filtreleriyle yanıt vermeye devam etmektir. Bu yaklaşım, modelin hiç yanlış davranmadığı başarısızlık sınıfını kaçırmaya devam edecektir: model yalnızca pipeline'ın önüne koyduğunu yaymaktadır, çünkü pipeline'da hiçbir şey bir girdi ile bir ihraç arasındaki farkı bilmiyordu.