Перейти к основному содержимому

AI-агенты могут корректно выполнять каждый вызов инструмента и при этом нарушать все корпоративные правила

Behzat AIagent-governancetool-callingidentitypolicy-enforcementнаблюдаемость
Макросъёмка печатной платы с дорожками, паяными соединениями и компонентами поверхностного монтажа в крупном плане

Недавние публикации высвечивают структурный пробел в том, как предприятия оценивают поведение агентов. VentureBeat сообщает, что агенты могут корректно выполнять вызовы инструментов, нарушая при этом корпоративную политику: вызов возвращает успех, рабочий процесс продвигается, а нарушение политики невидимо для любого монитора, который проверяет только статус выполнения. Корректность и разрешение — ортогональные свойства, и большинство текущих инструментов измеряют только первое.

Colorful 3D abstract art resembling layered geological formations, like topographic contours

SC Media сообщает, что интеграция агентов отстаёт от их внедрения, создавая пробелы в безопасности. Агенты развёртываются быстрее, чем расширяются поверхности идентификации, авторизации и аудита вокруг них, чтобы охватить нечеловеческих акторов. Данные SailPoint, цитируемые в публикациях, показывают широкий разрыв между внедрением агентов и покрытием идентификации, а значит, знClose-up of electrical insulators and components at a power substation under a clear blue sky13.jpg)g)Data center cooling fans

Практическое следствие для команд, строящих агентные системы, состоит в том, что телеметрия вызовов инструментов нуждается в отдельном слое оценки. Логирование того, что вызов успешен, отвечает на операционный вопрос; оно не отвечает на вопрос, было ли действующему принципалу разрешено выполнить это действие над этим ресурсом в это время. Оценка разрешений должна выполняться против политики, с идентичностью агента и делегированной областью как входными данными, и записываться отдельно от результата выполнения. В публикациях не уточняется, какие движки политик или провайдеры идентификации задействованы, а также размер разрыва в абсолютных терминах.

Давайте поговорим!