Тематический доклад Организации Объединённых Наций поднял вопрос об ИИ-агентах, проблеме misalignment и риске потери человеческого контроля над развёрнутыми системами. UN News сообщает, что панель призывает усилить меры защиты по мере развития возможностей агентов. Доклад помещает автономность агентов в рамки многосторонней политической дискуссии, а не оставляет её на усмотрение исключительно документации поставщиков и внутреннего аудита.
Для команд, выпускающих агентные системы, практическое следствие — давление в сфере закупок и соответствия требованиям. Ожидания по мерам защиты, выраженные на таком уровне, как правило, возвращаются в виде вопросов аудита, требований к раскрытию информации и договорных условий в регулируемых отраслях. Системам, которые не могут подтвердить ограниченность действий, человеческий надзор и прослеживаемые пути принятия решений, будет сложнее найти применение. Что именно доклад пока не уточняет — неясно: в рассмотренных здесь материалах не описаны ни конкретные пороги контроля, ни методология оценки, ни сроки действий государств-членов.
Разумная позиция в ближайшей перспективе — относиться к надзору как к инженерному артефакту, а не как к политическому заявлению. Это означает логирование действий агентов и вызовов инструментов, определение и обеспечение соблюдения пределов автономности, а также поддержание документированного пути эскалации к человеку, который можно продемонстрировать внешнему проверяющему. Студия продолжит отслеживать, как эта дискуссия превращается в язык закупок.