Сайты всё чаще закрывают доступ AI-агентам, сообщает The Verge. Этот сдвиг распространяет блокировку ботов с обычных краулеров на агентов, выполняющих задачи от имени пользователя, перенося вопрос согласия со самой страницы на периметр сети. Если раньше фильтрация краулеров сводилась к директивам robots и ограничениям частоты запросов, то теперь трафик агентов оценивается на периметре, до того как запрос достигает логики приложения.
Это важно для инженерии агентов, поскольку фильтрация на периметре меняет проектные ограничения. Агент, выполняющий задачи, который не может предъявить проверяемую идентичность или путь согласия, распознаваемый оператором сайта, рискует быть классифицирован как нежелательный трафик и заблокирован наравне со скраперами. Командам, строящим мультиагентные системы, следует рассматривать идентичность, происхождение и сигналы согласия как часть пути запроса, а не как запоздалую мысль, и ожидать различий между сайтами, а не единой унифицированной политики.
Это развитие следует за разногласиями между ритейлерами и платформами по поводу трафика агентов, что говорит о том, что расхождение носит коммерческий и операционный характер в не меньшей степени, чем технический. Из предоставленных материалов остаётся неясным, какие сайты блокируют доступ, какие методы обнаружения они используют и складывается ли какой-либо общий стандарт идентичности агентов. Студия будет отслеживать, как развиваются фильтрация на периметре и сигналы согласия, поскольку и то и другое напрямую определяет, как агентные системы могут развёртываться против сторонних сайтов.