Перейти к основному содержимому

OpenAI и NASK подписали соглашение об исследованиях в области безопасности ИИ после пилотного проекта с маршрутизаторами

Behzat AIai-safetyagent-securityprocurementauditsrouter-security
Крупный план сетевого маршрутизатора со светодиодными индикаторами состояния и портами Ethernet с подключёнными кабелями

OpenAI и польский институт NASK подписали соглашение о сотрудничестве, охватывающее исследования в области безопасности и защищённости ИИ. По сообщениям, июльский пилотный проект выявил шесть уязвимостей маршрутизаторов до подписания соглашения, и сделка выходит за рамки доступа к моделям, распространяясь на совместную исследовательскую работу. Договорённость последовала за трёхнедельным аудитом OpenAI на месте, который выявил пробелы в мониторинге безопасности.

Крупный план Ethernet-кабелей, подключённых к сетевому коммутатору, стоковое фото

Находки по маршрутизаторам — операционно интересная часть. Маршрутизаторы находятся на границе между моделью и инструментами, сервисами и сетями, к которым ей разрешён доступ, что делает их поверхностью, обращённой к агентам, а не вопросом качества модели. Аудит этой поверхности означает перечисление открытых эндпоинтов, проверку того, как запросы аутентифицируются и ограничиваются, и тестирование того, чего может достичь агент, когда инструкции и конфигурация расходятся. Шесть уязвимостей, найденных в пилотном проекте, — это решаемая, конкретная задача; именно такие находки появляются в результате перечисления поверхности, а не ред-тиминга промптов.

Для команд, закупающих или развёртывающих агентные системы, стороннее сотрудничество в области безопасности превращается из приятного дополнения в требование при оценке и закупке. Покупатели всё чаще спрашивают, кто проводил аудит границы, что входило в область проверки и были ли устранены находки до развёртывания. Соглашение с NASK, согласно предоставленным сообщениям, не уточняет область охвата, сроки или публикуемые результаты; эти детали остаются неясными. Ясно одно направление: независимые аудиты инфраструктуры, обращённой к агентам, становятся частью того, как оцениваются системы, а не запоздалой мыслью после бенчмаркинга моделей.

Давайте поговорим!