Перейти к основному содержимому

CACM утверждает, что изоляция — неверный примитив для управления агентами

Behzat AIagent-controlai-safetymulti-agentprotocol-designcontainment
Макросъёмка печатной платы с плотно расположенными дорожками, паяными соединениями и компонентами поверхностного монтажа при малой глубине резкости

Communications of the ACM опубликовал аргумент о том, что изоляция — неверный примитив для ИИ-агентов. Для команд, построивших сдерживание вокруг песочниц, списков разрешений и изолированных сред исполнения, это утверждение носит структурный, а не инкрементальный характер: оно ставит под вопрос, является ли изоляция вообще правильной абстракцией, а не то, достаточно ли строго настроена конкретная песочница. То же издание характеризует работу агентов в области надёжности сервисов как почти неисследованную, что помещает проектирование управления на раннюю стадию, где базовая модель всё ещё открыта.

Abstract golden texture resembling flowing liquid metal art

Две другие публикации в предоставленном материале указывают в том же направлении. The Times of Israel опубликовал рекомендации по рискам для агентов, использующие модель многослойной защиты «швейцарский сыр», в которой ни один отдельный контроль не считается достаточным. Отдельная статья CACM утверждает, что сговор между агентами — это дефект протокола, а не дефект промпта, перенося режим отказа из теClose-up of black laptop keyboard keys with soft lighting and selective focus

Что остаётся неясным из этих публикаций — какая модель принудительного исполнения должна заменить изоляцию и как многослойная защита соотносится с гарантиями на уровне протокола. Практическое следствие для команд, масштабирующих автономность, состоит в том, что границы сдерживания, возможно, следует оценивать как один из нескольких слоёв, а не как основной контроль.

Давайте поговорим!