Bir kontrolü yerleştirmek için iki yer
Her agent sisteminin bir güvenlik kontrolü için iki aday konumu vardır. Birincisi modelin talimatlarının içindedir: üretim verilerini silmeyin diyen bir sistem prompt'u, sırları dışarı sızdırmaya karşı uyaran bir araç açıklaması, bağlam penceresine eklenmiş bir politika paragrafı. İkincisi, agent ile yapmaya çalıştığı şey arasındaki runtime yolundadır: tool call, egress isteği, kimlik bilgisi kullanımı.
Bunlar eşdeğer değildir ve fark derece farkı değildir. Prompt düzeyindeki bir kısıtlama, olasılıksal bir sisteme girdidir. Kullanıcının mesajı, getirilen belgeler, üç tur önce gelen araç çıktısı ve saldırganın agent'ın az önce getirdiği bir web sayfasına yerleştirdiği her ne varsa, dikkat için onlarla rekabet eder. Modelin sahip olduğu her arıza moduna tabidir: uzun bağlamlarda talimat kayması, kendine güvenen bir kullanıcıya yalakalık, enjekte edilmiş metne yatkınlık ve düz örnekleme varyansı. İşe yaradığında, model uymayı seçtiği için yarar. Başarısız olduğunda, mimaride hiçbir şey fark etmez.
Bir runtime kontrolü, eylemin zaten somut olduğu noktada müdahale eder. Model, bir ad ve argümanlarla bir tool call yayınlamıştır. Bu çağrı yapılandırılmış bir nesnedir, bir eğilim değil. Dosya sistemine, ağa veya sır deposuna herhangi bir şey ulaşmadan önce ayrıştırılabilir, politikayla eşleştirilebilir, bekletilebilir, yeniden yazılabilir veya reddedilebilir. Kontrolün, modelin onunla aynı fikirde olmasına ihtiyacı yoktur.
Nvidia'nın runtime-agent güvenlik çerçevesi ve daha geniş kill-switch tartışması etrafındaki mevcut tartışma, satıcı dilinin altında, hangi katmanın otoriteye sahip olduğuyla ilgili bir argümandır. Bir kamp modeli yaptırım yüzeyi olarak görür ve talimatları güçlendirmeye çalışır. Diğeri modeli güvenilmez bir planlayıcı olarak görür ve otoriteyi geçmesi gereken yola koyar. İkinci kamp mimari açıdan haklıdır ve endüstrinin ona doğru kayması doğru bir bahistir.
Kill switch bir semptomdur
Bir kill switch cazip bir fikirdir çünkü zor bir yönetişim sorununu tek bir düğmeye indirger. Aynı zamanda agent filolarının nadiren sahip olduğu iki şeyi varsayar: tüm dağıtım üzerinde otoriteye sahip tek bir süpervizör ve bu süpervizörden çalışan her iş yüküne güvenilir bir kanal.
Hiçbiri gerçek bir sistemle temas ettiğinde ayakta kalmaz. Agent'lar orkestratörler tarafından oluşturulur, bölgeler arasında ölçeklenir, kuyruklara ve cron işlerine gömülür ve onları talep eden süreçten daha uzun yaşayan kimlik bilgileri verilir. Süpervizör, açık bir soketi elinde tutan konteynerden genellikle birkaç soyutlama katmanı uzaktadır. Bu zincirden aşağı gönderilen bir sinyal bir istektir, garanti değil; ve istekler çökmüş sidecar'lar, bölünmüş ağlar ve yeniden deneme ortasındaki iş yükleri tarafından düşürülür.
Bir agent'ı gerçekten durduran şey, niyetin iletilmesi değil, yeteneğin kaldırılmasıdır. Somut olarak: agent'ın kullandığı token'ı iptal edin, böylece bir sonraki çağrısı ne yaptığına inanırsa inansın yetkilendirmede başarısız olur. Egress yolunu ağ sınırında kapatın, böylece süreçten çıkan bir istek hiçbir yere gitmez. Agent'ın okuduğu kuyruğu boşaltın, böylece yeni iş gelmez. Okumak üzere olduğu sırrı döndürün. Bunlar yaptırım eylemleridir çünkü neyin mümkün olduğunu değiştirirler, neyin amaçlandığını değil. Yetenek iptali üzerine kurulu bir kapatma prosedürü zarifçe bozulur: bir iptal başarısız olursa, diğerleri hâlâ ısırır.
Politika artefaktlarının ne olduğu ve ne olmadığı konusunda kesin olmakta fayda var. Bir laboratuvar kapatma kriterleri veya bir agent'ın ne zaman durması gerektiğini açıklayan bir model-şartname maddesi yayımladığında, bu bir yönetişim belgesidir. Davranışı şekillendirir, niyeti işaret eder, hesap verebilirlik yaratır. Bir yaptırım mekanizması değildir, çünkü kısıtladığı modelle sınırın aynı tarafında yaşar. Bu tür yayınları güvenlik garantileri olarak okumak, değerler beyanını kontrol beyanıyla karıştırmaktır.
Tasarım kuralı: müdahale et, talimat verme
Bundan çıkan kural dar ve mekaniktir. Sonuç doğuran her aracın çağrı yolunda, varsayılan-reddet duruşuyla bir politika karar noktası vardır. Sonuç doğuran, yazan, silen, gönderen, harcayan, kimlik doğrulayan veya sandbox dışına ulaşan her şey anlamına gelir. Varsayılan-reddet, aracın kullanılamaz olması demektir; ta ki bir politika çağrının belirli şekline açıkça izin verene kadar — birinin engellemeyi hatırlamasına kadar kullanılabilir olması yerine.
Mekanizma gösterişsizdir. Agent runtime'ı her aracı bir interceptor ile sarar. Gönderimden önce interceptor bir karar isteği oluşturur: principal (hangi agent, hangi görev, hangi devredilmiş kimlik), araç adı, argümanların bir özeti ve oturumun veri sınıflandırması gibi bağlamsal sinyaller. Bir politika motoruna sorgu yapar, izin, ret veya dönüştür kararı alır ve ancak o zaman gönderir, yeniden yazar veya reddeder. Dönüştür önemlidir: bir alanı maskelemek veya bir yolu daraltmak genellikle ikili bir engellemeden daha iyidir.
Her karar principal, araç, argüman özeti ve kararla birlikte günlüğe kaydedilir. Ham argümanlar yerine özet, günlüğün saklanmasını güvenli tutarken yine de yeniden oynatma ve itiraza izin verir. Bu günlük, denetim, olay incelemesi ve politikanın kendisinin ayarlanması için altlıktır.
Talimatlar bu tasarım altında kaybolmaz. Davranışı şekillendirmek için doğru araç olmaya devam ederler: ton, ayrıştırma stratejisi, ne zaman açıklayıcı bir soru sorulacağı, nasıl özetleneceği. Değişen, ileri sürülen iddiadır. Hiçbir güvenlik özelliği tek başına bir talimata dayanmamalıdır, çünkü bir talimat, uyumu yapısı gereği olasılıksal olan bir sisteme yönelik bir öneridir.
Yaptırımın maliyeti nedir
Runtime müdahalesi ücretsiz değildir ve aksini varsaymak kötü mimariler üretir. Üç maliyet gerçektir.
Birincisi gecikme ve yeni bir tek hata noktasıdır. Müdahale edilen her çağrı artık bir politika kararını bekler ve politika yolu ürünün kritik yolundadır. Kullanılamıyorsa, doğru varsayılan reddetmektir; bu da politika hizmetinin, koruduğu araçlar kadar güçlü bir kendi kullanılabilirlik bütçesine ihtiyacı olduğu anlamına gelir. Bu bir mühendislik taahhüdüdür, yapılandırma ayrıntısı değil: çoğaltılmış karar noktaları, kısa süreli imzalı politika paketlerinin yerel önbelleğe alınması ve bozulmuş durum için belgelenmiş bir davranış.
İkincisi, politika yazımının bir şema sorunu olmasıdır. Belirsiz bir şema iki arıza modundan birini üretir: her şeye lastik damga basan kadar geniş kurallar veya meşru işi engelleyen ve ekibin etrafından dolaştığı kadar sıkı kurallar. İş, karar isteğini doğru yapmaktadır — hangi nitelikler çağrı zamanında mevcuttur, hangileri kararlıdır, hangilerini bir saldırgan etkileyebilir. Modellenmemiş bağlamla beslenen bir politika motoru, yanlış şeyler hakkında kendinden emin kararlar verir.
Üçüncüsü ölçümdür. Kural sayısı bir güvenlik metriği değildir; büyük bir kural kümesi tamamen etkisiz olabilir. İzlenmeye değer sonuç, sonuç doğuran araçlarda müdahale edilen eylemlerin izin verilen eylemlere oranıdır; araç ve principal bazında ayrıştırılmış olarak. Üretime yazan bir araçta sıfıra yakın bir oran, politikanın dekoratif olduğunun işaretidir. Bir değişiklikten sonra keskin biçimde hareket eden bir oran, araştırmaya değer bir işarettir. Hiçbir sayı garanti değildir, ancak her ikisi de kontrolün gerçekten yolda olup olmadığını tanımlar.
Dürüst özet şudur: runtime yönetişimi güveni modelin uyumundan operatörün altyapısına taşır. Bu, inşa edilmesi daha zor ve denetlenmesi çok daha kolay bir şeydir. Agent sistemlerine kimlik bilgileri ve ağ erişimi verildiği düşünülürse, önemli olan kısım denetimdir.