Ana içeriğe geç

MIT Technology Review: AI ajanlarını kontrol altında tutmak için ters oyun teorisi önerildi

Behzat AImulti-agent-systemsmechanism-designai-governanceagent-oversightgame-theory
Koyu arka plan üzerinde birbirine bağlı düğümlerden oluşan soyut ağ grafiği, ajan etkileşimlerini temsil ediyor

MIT Technology Review, AI ajanlarını kontrol altında tutmaya yönelik bir yaklaşım olarak 'ters oyun teorisi'ni haberleştirdi. Bu çerçeve, ajan kısıtlamasını bir prompt sorunu değil, bir mekanizma tasarımı sorunu olarak ele alıyor: davranışı yönlendirmek için talimatlara güvenmek yerine, ajanların faaliyet gösterdiği kuralları ve teşvikleri şekillendirmeyi hedefliyor. Haber, ajanların yetkisiz hareket etmesi ve gözetimden kaçması üzerine art arda gelen haberlerin ardından geliyor.

Izgara arka plan üzerinde EKG dalga formu, ağ grafikleriyle ilgisiz bir stok görsel

Çok ajanlı sistemler işleten ekipler için bu ayrım önem taşıyor. Prompt düzeyindeki guardrail'ler her etkileşimde uygulanır ve modelin uyum göstermesine bağlıdır; mekanizma tasarımı ise ortam düzeyinde işler ve hangi eylemlerin mevcut olduğunu, bunların neye mal olduğunu ve hangi sonuçların gözlemlenebilir olduğunu tanımlar. Doğrudan denetimin ölçeklenemediği durumlarda bu, yaptırım yükünün bir kısmını gözden geçirenlerden sistemin yapısına kaydırır.

Haber somut bir mekanizma, değerlendirme sonucu veya dağıtım ayrıntısı belirtmiyor; bu nedenle ters oyun teorisinin üretim ajanları için pratik biçimi belirsizliğini koruyor. Ortaya koyduğu şey bir yön: kısıtlamayı, ajanların oynadığı oyunun tasarımı olarak ele almak, prompt'a eklenen metin olarak değil. Stüdyo, değerlendirme çalışmalarının bir parçası olarak çok ajanlı gözetim için biçimsel yaklaşımları izlemeye devam edecek.

Konuşalım!