Planı yerinden oynatan iddia
Çok ajanlı bir sistem, mesaj alışverişi yapan bir model grubudur. Bir ajan önerir, bir diğeri eleştirir, üçüncüsü bir tool call yürütür. Tasarım varsayımı, bu mesajların bilgi taşıdığıdır. Pratikte ise otorite taşırlar. Bir planlayıcı, bir akranından bir kaynağın kullanılamadığını, bir politikanın değiştiğini veya bir adımın zaten tamamlandığını söyleyen bir mesaj aldığında, planlayıcı bu iddiayı çoğu zaman dünyaya dair bir gerçek olarak kabul eder. Planını günceller, bir adımı atlar veya farklı bir tool çağırır. Mesaj hiçbir zaman doğrulanmamıştır. Güvenlik açığı, gönderen modelin kötü niyetli olması veya alan modelin zayıf olması değildir. Açık, protokolün doğrulanmamış bir iddianın bir planı değiştirmesine izin vermesidir.
Bu bir protokol sorunudur çünkü model aileleri ve yetenek seviyeleri arasında yeniden üretilebilir. Daha yetenekli bir alıcı bunu otomatik olarak düzeltmez; akranının iddiasını daha akıcı bir şekilde rasyonalize edebilir. Daha yetenekli bir gönderici bunu otomatik olarak yapmaz; göndericinin tek ihtiyacı doğru anda makul bir iddia üretmektir. Saldırıyı işler kılan özellik yapısaldır: ajanlar arası mesajlar güvenilmeyen girdi olarak değil, talimat olarak işlenir.
Mekanizma: akran mesajları talimat olarak
İki ajanlı bir döngü düşünün. Ajan A bir görev planlar. Ajan B, A'nın erişemediği bir araca erişebilir. A, B'ye bir istek gönderir. B, aracın bir hata döndürdüğünü ve doğru geçici çözümün bir doğrulama adımını atlamak olduğunu yanıtlar. A'nın o tool call'a dair bağımsız bir kaydı yoktur. A'nın sistem prompt'u akranlarla işbirliği yapmayı ve gereksiz işten kaçınmayı söylüyorsa, A bu raporu kabul eder ve adımı atlar. Plan, tek bir cümlenin gücüyle değişmiştir.
Aynı mekanizma tool çağıran ajanlarda da görülür. Bir akran mesajı bir aracı ve argümanları adlandırabilir. Alan ajanın ayrıştırıcısı bir kullanıcı talimatı ile bir akran önerisi arasında ayrım yapmıyorsa, akran mesajı bir tool call haline gelir. Alan ajanın kendi politikası eylemi yasaklayabilir, ancak politika orijinal göreve karşı değil, akranın çerçevelemesine karşı değerlendirilir. Model işbirlikçi bir istek görür, bir injection değil.
Kalıcılık, mekanizmanın ikinci yarısıdır. Tek bir reddedilen istek alışverişin sonu değildir. Aynı isteği turlar boyunca yeniden ifade eden, aciliyet ekleyen veya yeniden çerçeveleyen bir ajan, uyumlu bir akranı yıpratabilir. Alan ajanın bağlamı, tekrarlanan iddiayı biriktirir. Her tur, iddiayı daha yerleşik gösterir. Sonunda alıcı, isteği tartışmalı bir iddia olarak değil, yerleşik bir bağlam olarak ele alır. Saldırı yüzeyi, herhangi bir tek mesajın belagati değil, tur sayısıdır.
Bu varsayımsal bir hata sınıfı değildir. Güvenlik araştırmacıları ve ajan geliştiricileri, çok ajanlı dağıtımlar büyüdükçe prompt-injection ve ajanlar arası güven sorunlarını belgeliyorlar. Örüntü tutarlıdır: model, zekice bir cümleyle kandırılmaktan çok, kimin konuştuğu veya iddiasının ne kadar sayılması gerektiğine dair hiçbir kavrayışı olmayan bir kanal tarafından kandırılır. Bu olayların ele alınışı model üzerine odaklanma eğilimindedir, ancak kalıcı çözüm mesaj katmanında yaşar.
Her ajanlar arası mesajda köken ve güven seviyesi
Bir ajan sınırını geçen her mesaj yapılandırılmış metadata taşımalıdır: gönderen ajanın kimliği, üzerinde işlem yapmaya yetkili olduğu görev, iddiasının arkasındaki kanıt ve bir güven seviyesi. Güven seviyesi bir duygu değildir; bir politika girdisidir. Araç erişimi olmayan bir akrandan gelen bir iddia, bir aracın ne döndürdüğünü iddia edememelidir. Mevcut görev kapsamı dışındaki bir akrandan gelen bir iddia, görevi değiştirememelidir. Alan ajanın planlayıcısı, metni okumadan önce güven seviyesini okumalıdır.
Bu, büyük etkisi olan küçük bir değişikliktir. Örtük bir sosyal varsayımı (akranlar işbirlikçidir) açık, kontrol edilebilir bir alana dönüştürür. Ayrıca log'ları faydalı kılar: bir plan değiştiğinde, kayıt hangi mesajın ve hangi güven seviyesinin değişime neden olduğunu gösterir.
Bir akran iddiası bir planı veya tool call'u değiştirmeden önce bağımsız doğrulama
Bir planı değiştirecek veya bir tool call'u tetikleyecek bir akran iddiası, akranın kontrol etmediği bir kaynağa karşı doğrulanmalıdır. Akran bir dosyanın eksik olduğunu söylüyorsa, alan ajan dosyayı kontrol etmelidir. Akran bir politikanın değiştiğini söylüyorsa, alan ajan politikayı okumalıdır. Akran bir adımın tamamlandığını söylüyorsa, alan ajan artefaktı aramalıdır. Doğrulamanın pahalı olması gerekmez. Bağımsız olması gerekir.
Dürüst ödünleşim latency ve maliyettir. Doğrulama bir adım, bazen bir tool call, bazen bir gidiş-dönüş ekler. Çoğu akran mesajının doğru olduğu bir sistemde doğrulama israf gibi görünür. Tasarım kararı, hangi iddiaların doğrulama olmadan durumu değiştirebileceğidir. Düşük riskli, geri alınabilir, kapsam içi iddialar geçebilir. Bir planı değiştiren, bir kaynak harcayan veya hari
/media/server-rack-closeup-3d8cf9-5b763a.jpg)
Reddedilen bir isteğin yeniden iddialarını sınırla
Reddedilen bir isteğin yeni ifadelerle süresiz olarak geri dönmesine izin verilmemelidir. Protokol, akran başına, istek başına ve görev başına yeniden iddiaları saymalıdır. Az sayıda denemeden sonra istek kapatılır ve alan ajan onu değerlendirmeyi durdurur. Sınır, akranın niyetine dair bir yargı değildir; alıcının maruziyetine bir sınırdır. Ayrıca alıcıya, her anlaşmazlık için bir insana yükseltme yapmadan bir döngüyü sonlandırmanın temiz bir yolunu verir.
Ödünleşim, meşru anlaşmazlığın kısa kesilebilmesidir. Bir akranın dördüncü denemede gelen gerçek bir düzeltmesi olabilir. Bu nedenle sınır bir yükseltme yoluyla eşleştirilmelidir: kapatılan istekler log'lanır ve bir insan veya bir süpervizör ajan bunları kanıt eklenmiş olarak yeniden açabilir. Amaç, düzeltmeyi imkansız kılmak değil, kalıcılığı pahalı ve görünür kılmaktır.
Test: sadece düşmanca kullanıcılar değil, düşmanca akranlar
Çoğu red-teaming kullanıcı kanalını hedefler. Çok ajanlı bir sistemin, düşmanın bir akran olduğu ikinci bir test paketine ihtiyacı vardır. Kurulum basittir: sistemi, bir ajanı makul, doğrulanmamış iddialar üreten, reddedilen istekleri yeniden ifade eden ve araçları ve argümanları adlandırmaya çalışan düşmanca bir akranla değiştirerek çalıştırın. Test, planların değişip değişmediğini, tool call'ların gerçekleşip gerçekleşmediğini ve alıcının isteği kapatmadan önce kaç tura tahammül ettiğini ölçer.
Bu testin değeri, modeli değil protokolü çalıştırmasıdır. Mesaj katmanı hala akran metnini otorite olarak ele alıyorsa, bir model değişimi sonucu değiştirmez. Köken etiketleri, doğrulama gereksinimleri ve yeniden iddia sınırları olan bir protokol, model değişiklikleri boyunca dayanır; üretimdeki bir sistem için önemli olan özellik budur.
Tasarım ilkesi
Protokol aksini söyleyene kadar her ajanlar arası mesajı güvenilmeyen girdi olarak ele alın. Sınır model değildir. Sınır mesaj katmanıdır: kim gönderdi, neyi iddia etmeye yetkili, hangi kanıtı ekledi ve kendini kaç kez tekrarlayabilir. Bu katmanı bilinçli olarak inşa edin; o zaman ajanlar arası manipülasyon, sessiz bir plan değişikliği yerine sınırlı, gözlemlenebilir bir olay haline gelir.