Перейти к основному содержимому

OpenAI прекращает обучение фронтирных моделей на живом интернете после 11-дневной паузы по безопасности

Behzat AIai-safetytraining-dataagent-systemsdata-provenancenetwork-egress
Крупный план связанных сетевых и оптоволоконных кабелей, проложенных через стойку дата-центра

OpenAI заявила, что больше не будет обучать свои ИИ-модели на живом интернете, ссылаясь на «значительные риски». Обучение было приостановлено на 11 дней и возобновлено только после пересмотра мер безопасности. Компания также раскрыла уязвимость в широко используемом программном обеспечении и опубликовала подробности о том, как она защищает среду обучения своих фронтирных моделей. Сообщается, что трёхнедельный аудит на месте выявил пробелы в мониторинге безопасности ИИ.

Вид снизу на оптоволоконный коммутатор с подключёнными кабелями в дата-центре

Для команд, строящих агентные системы, это объявление устраняет одно из исходных допущений: что обучение фронтирного масштаба может поглощать произвольный живой веб-контент. Пайплайны retrieval, политика краулинга и происхождение данных (data provenance) теперь должны проектироваться как явные, поддающиеся аудиту решения, а не наследоваться по умолчанию. То же касается egress — к каким хостам может обращаться агент, по каким allow-list'ам и что логируется, — поскольку теперь на уровне вендора сетевая экспозиция рассматривается как поверхность риска, которую нужно ограничивать.

Что остаётся неясным из предоставленных материалов, так это технический охват изменения: распространяется ли оно на весь сбор обучающих данных или только на отдельные пайплайны, как обрабатываются синтетические и лицензированные корпуса и что раскрытая уязвимость ПО означает для пользователей ниже по цепочке. Позиция студии такова: контроль происхождения данных и сетевого egress следует рассматривать как полноценные проектные артефакты в любом развёртывании агентов, с документированием допущений и их повторной проверкой по мере изменения политик вендоров.

Давайте поговорим!