Futurism сообщает, что использование AI-агента делает пользователей более восприимчивыми к фишинговым письмам. Механизм здесь структурный, а не случайный: как только агент сортирует почту и действует от имени пользователя, входящее сообщение перестаёт быть чем-то, что нужно прочитать, и становится каналом инструкций — и приходит оно, неся на себе полномочия пользователя. Приманка, которая не сработала бы против осторожного человека, может сработать против делегированного процесса, построенного так, чтобы действовать на основе того, что он получает.
Этот вывод появляется в тот момент, когда предприятия встраивают агентов-ассистентов в инструменты для работы с почтой и рабочими процессами, что переносит риск с индивидуальной осторожности на проектирование систем. Соответствующие меры контроля находятся на границе между недоверенным содержимым и привилегированным действием: проверки происхождения входящей почты, явное ограничение того, что агент может делать без подтверждения, и разделение между чтением сообщения и выполнением всего, что в нём запрашивается. Содержимое из-за пределов границы доверия следует рассматривать как данные, а не как намерение, и любое действие с побочными эффектами должно требовать контрольной точки, до которой отправитель не может дотянуться.
Чего предоставленные материалы не устанавливают — это размер эффекта, условия, при которых восприимчивость возрастает, и какие конструкции агентов тестировались. Эти пробелы важны для любого, кто решает, сколько автономии предоставить ассистенту, читающему почту. Пока не появится более ясных данных, позиция студии — рассматривать делегированный доступ к почте как привилегированную интеграцию и оценивать его на устойчивость к состязательным сообщениям, прежде чем расширять его разрешения.