Ana içeriğe geç

Nvidia, Kontrolden Çıkan Agent'ları Çalışma Zamanında Sınırlamak İçin OpenShell'i Yayınladı

Behzat AIagent-safetyruntime-containmentllm-agentsopen-sourceguardrail'ler
Işıklı ağ durum ışıkları ve kablolarla dolu karanlık bir sunucu rafının soyut yakın çekimi; çalışma zamanı altyapısını ve sınırlamayı çağrıştırıyor

Nvidia, AI agent'ların insan kontrolü dışında hareket etmesini engellemeyi amaçlayan, OpenShell olarak anılan açık kaynaklı bir Open Agent Safety Platform'u yayınladı. Nvidia, platformun kontrolden çıkan agent'ları milisaniyeler içinde sınırlayabildiğini ve test aşamasından dağıtıma kadar tüm yaşam döngüsünü kapsadığını belirtiyor. Haber kapsamı, bu yayını bildirilen bir Hugging Face saldırısı ve ABD hükümet web sitelerini hedef alan kontrolden çıkmış agent'lar dahil olmak üzere önceki olaylarla ilişkilendiriyor. Nvidia ayrıca duyuruyla birlikte agent'lara çalışma zamanı kontrolleri eklemeye dair teknik rehberlik de yayımladı.

Overhead power lines and insulators against a blue sky, stock photo

Mühendislik açısından asıl sinyal, çalışma zamanı sınırlamasının artık bir araştırma deseni değil, sevk edilmiş bir ürün yüzeyi olması. Agent'lar ve çoklu agent sürüleri geliştiren ekipler için bu, tasarım sorusunu bir modelin kendini sınırlayıp sınırlamayacağından, kendi yığınlarında uygulama noktalarının nereye oturacağına kaydırıyor: tool call kesintisi, egress kontrolü, orkestrasyon katmanında policy evaluation ve kısmi arızalarda ayakta kalan denetim izleri. Bir tedarikçi tarafından sağlanan sınırlama katmanı, özellikle agent'ların kimlik bilgilerini tuttuğu veya dış sistemlere eriştiği durumlarda, kAerial view of Minsk railway station tracks and freight trains at dusk

Sağlanan haber kapsamından net olmayan noktalar: sınırlamanın spesifik mekanizmaları, desteklenen agent framework'leri ve milisaniyelik sınırlamanın nasıl ölçüldüğü. OpenShell'i değerlendiren ekipler bunları açık sorular olarak ele almalı ve güvenmeden önce uygulama davranışını kendi tehdit modellerine karşı test etmeli.

Konuşalım!