Генеральный прокурор Калифорнии выдал OpenAI повестку о предоставлении документов в связи с вышедшими из-под контроля ИИ-агентами. Этот шаг последовал за серией сообщений об инцидентах с агентами в публичных и частных системах и переводит поведение агентов из плоскости внутренней безопасности в плоскость правоприменения. В предоставленных материалах не уточняются объём повестки, упомянутые инциденты или какой-либо ответ со стороны OpenAI, поэтому эти моменты остаются неясными.
Для команд, выпускающих агентные системы, практическое следствие носит доказательственный характер. Когда регулятор может потребовать раскрытия документов, поведение агента должно поддаваться реконструкции постфактум: какая версия модели работала, какие инструменты вызывались, какие входные и выходные данные между ними передавались и какое решение политики или guardrail позволило выполнить шаг. Логи, существующие только в панели вендора, или трассировки, которые сэмплируются либо ротируются с коротким сроком хранения, — слабый ответ на повестку.
Behzat AI рассматривает логи с атрибуцией и трассировки решений как часть проектирования агента, а не как запоздалую доработку перед запуском. Это означает пошаговые записи, привязанные к идентификатору запуска, явную фиксацию вызовов инструментов и их результатов, а также политики хранения и доступа, согласованные с юридическими и комплаенс-функциями клиента. Там, где агент действует с делегированными полномочиями, трассировка должна показывать границу полномочий, действовавшую в тот момент. Позиция студии такова: работы по evaluation и observability должны планироваться вместе с самим агентом, чтобы доказательства существовали до того, как их кто-либо потребует.