Ana içeriğe geç

CACM, confinement'ın agent kontrolü için yanlış bir ilkel olduğunu savunuyor

Behzat AIagent-controlai-safetymulti-agentprotocol-designcontainment
Sığ alan derinliği altında yoğun biçimde paketlenmiş izleri, lehim bağlantılarını ve yüzeye monte bileşenleri gösteren bir devre kartının makro fotoğrafı

Communications of the ACM, confinement'ın AI agent'ları için yanlış bir ilkel olduğu yönünde bir argüman yayımladı. Containment'ı sandbox'lar, allowlist'ler ve izole yürütme bağlamları etrafında kuran ekipler için bu iddia artımlı değil yapısaldır: belirli bir sandbox'ın yeterince sıkı yapılandırılıp yapılandırılmadığını değil, izolasyonun başlı başına doğru soyutlama olup olmadığını sorgular. Aynı yayın organı, agent çalışmasını servis güvenilirliği bağlamında neredeyse hiç keşfedilmemiş olarak çerçeveliyor; bu da kontrol tasarımını, altında yatan modelin hâlâ açık olduğu erken bir aşamaya yerleştiriyor.

Abstract golden texture resembling flowing liquid metal art

Sunulan kapsamdaki iki unsur daha aynı yöne işaret ediyor. The Times of Israel, hiçbir tek kontrolün yeterli sayılmadığı İsviçre peyniri katmanlı savunma modelini kullanan agent'lar için risk rehberi yayımladı. Ayrı bir CACM yazısı, agent'tan agent'a gizli anlaşmanın bir prompt kusuru değil bir protokol kusuru olduğunu savunarak başarısızlık modunuClose-up of black laptop keyboard keys with soft lighting and selective focus

Kapsamdan netleşmeyen şey, confinement'ın yerini hangi yaptırım modelinin alması gerektiği ve katmanlı savunmanın protokol düzeyindeki garantilere nasıl eşlendiğidir. Otonomiyi ölçekleyen ekipler için pratik çıkarım, containment sınırlarının birincil kontrol olarak değil, birkaç katmandan biri olarak değerlendirilmesi gerekebileceğidir.

Konuşalım!