Бразильский суд наложил санкции на адвокатов за внедрение prompt injection в судебный документ. Согласно предоставленному источнику, документ содержал попытку повлиять на автоматизированную проверку. Санкции создают правовой механизм реагирования на попытки инъекций, направленных против агентных пайплайнов, вместо того чтобы оставлять ответ на усмотрение фильтрации или поведения модели.
Дело важно потому, что оно переводит обработку входных данных из инженерного предпочтения в вопрос соответствия требованиям. Агент, читающий документ, ответ инструмента или извлечённую запись, обрабатывает недоверенные данные, и любой текст, похожий на инструкцию, внутри этих данных должен восприниматься как содержимое, а не как указание. Когда пайплайн не может удержать эту границу, сбой перестаёт быть только дефектом качества: третьи стороны могут указать на документ, договор или сообщение, содержавшее полезную нагрузку. Команды, работающие в регулируемых или состязательных средах, должны уметь показать по каждому пайплайну, где входит недоверенный ввод, какие компоненты могут на него реагировать и что препятствует встроенным инструкциям достичь планировщика или tool call.
Практическое направление — разделение и прослеживаемость: держать извлечённый текст и вывод инструментов в канале данных, который не может изменить системные инструкции, логировать происхождение каждого ввода, достигающего точки принятия решения, и тестировать пайплайны на документах, которые намеренно содержат текст, похожий на инструкции. В предоставленном источнике не указаны юрисдикция, процессуальное положение, конкретная наложенная санкция или дата решения, поэтому эти детали остаются неподтверждёнными. Источник: JetStream Security.