Проблема карточки оценки
Оценка риска агента снова и снова всплывает как закупочное упражнение. Реестру нужно сопоставимое число; вендор может предоставить карточку оценки, не раскрывая телеметрию; карточка отвечает на вопрос одобрен ли этот агент, а не безопасен ли этот запуск. Это категориальная ошибка. Оценка, вычисленная во время развёртывания, устаревает в тот момент, когда агент обращается к новому инструменту, новому назначению или новой форме задачи. Полезный артефакт — это не число в реестре. Это непрерывно обновляемый сигнал, полученный из самого запуска.
Это не аргумент против управления. Это аргумент о том, где живут доказательства. Управлению нужен указатель на живой сигнал, а не замороженная его замена.
Почему статическая оценка сохраняется
Это сохранение структурное, а не иррациональное. Закупочные команды подотчётны за реестр. Реестру нужны строки, а строкам нужны значения, которые можно сравнивать между вендорами, командами и циклами проверки. Карточка оценки подходит для этого рабочего процесса. Живой сигнал — нет, потому что он меняется между моментом, когда его читают, и моментом, когда по нему действуют.
Есть также асимметрия в том, что вендоры могут предоставить. Карточку оценки можно создать, не раскрывая телеметрию, схемы инструментов или данные трассировки. Сигнал времени выполнения — нельзя. Просить о нём — значит просить видимость того, как агент на самом деле ведёт себя, а это другой коммерческий разговор.
В результате реестр отвечает на вопрос, на который легко ответить и который редко оказывается тем, что имеет значение. Одобрение — это шлюз. Безопасность — это свойство траектории. Это не одно и то же, и их смешение создаёт ложное чувство покрытия.
Что на самом деле раскрывает запуск
Запуск — это последовательность решений. Последовательности вызовов инструментов показывают дрейф намерения, который не улавливает ни один опросник перед развёртыванием. Агент, который начинает с чтения документа и заканчивает записью во внешнюю конечную точку, изменил свой эффективный профиль риска в рамках одной задачи, и никакая статическая оценка не отражает этот переход.
Несколько признаков наблюдаемы и дёшевы в записи:
- Последовательности вызовов инструментов. Порядок, смежность и повторение. Новая комбинация инструментов, которые никогда не появлялись вместе в предыдущих запусках, — это другой сигнал, чем знакомая цепочка.
- Назначения исходящего трафика. Впервые встречающиеся хосты, протоколы и пути. Новизна — более сильный сигнал, чем блок-лист, потому что блок-листы запаздывают.
- Состав глаголов. Соотношение операций, похожих на чтение, и операций, похожих на запись. Сдвиг в сторону записей, удалений или отправок меняет последствия ошибки.
- Паттерны повторов. Повторные попытки после сбоя могут указывать на временный сбой или на попытку эскалации. Различие имеет значение.
- Попытки эскалации. Запросы более широких разрешений, более длительных тайм-аутов или дополнительных инструментов в середине запуска.
Один и тот же агент может быть низкорисковым на одной задаче и высокорисковым на другой в течение часа. Задача суммаризации, которая читает документ и возвращает текст, — это не тот же объект риска, что задача, которая читает документ, запрашивает базу данных и публикует во внешнем сервисе, даже когда обе выполняются одним и тем же агентом с одной и той же конфигурацией.
Работоспособный дизайн сигнала
Цель дизайна — сигнал, который выводится из траектории, обновляется по мере развёртывания траектории и привязан к действиям, а не к агентам.
Выводите риск из признаков траектории
Оценивайте запуск, а не агента. Признаки включают новые комбинации инструментов, впервые встречающиеся назначения, сдвиги состава глаголов, всплески повторов и попытки эскалации. Каждый признак вносит вклад в сигнал, который пересчитывается по мере поступления новых событий. Сигнал — это функция пройденного пути, а не свойство сущности, которая его прошла.
Конкретный механизм: поддерживайте базовую линию наблюдаемых последовательностей вызовов и назначений для каждого класса инструментов. Когда запуск порождает комбинацию, которая не наблюдалась ранее, или назначение, которое не встречалось, генерируйте событие новизны. Агрегируйте события новизны по скользящему окну, чтобы получить текущий сигнал риска. Окно имеет значение, потому что одно новое назначение — это шум; их кластер в течение короткого интервала — нет.
Привязывайте пороги к действиям, а не к агентам
Порог должен ограничивать действие, а не действующего. Чтение дёшево разрешить. Запись в впервые встречающееся назначение — нет. Удаление — нет. Эскалация разрешений — нет. Пороги, выраженные на уровне действия, позволяют низкорисковому запуску продолжаться без проверки, одновременно вынуждая паузу на конкретном шаге, который несёт последствия.
Здесь же находится место для записи в реестре. Реестр должен содержать указатель на живой сигнал и текущую политику порогов, а не статическую оценку. Запись отвечает на вопросы где доказательства и какая политика применяется, а не *безопасен ли этот аге
Реестр, который указывает на живой сигнал, остаётся полезным по мере изменения сигнала. Реестр, который содержит замороженное число, становится вводящим в заблуждение, как только поведение агента отклоняется от условий, при которых число было вычислено. Указатель — это артефакт управления. Сигнал — операционный.
Компромиссы
Непрерывная оценка не бесплатна, и издержки реальны.
Хранение и внимание проверяющих. Запись признаков траектории для каждого запуска порождает объём данных, который нужно хранить, запрашивать и проверять. Политики хранения имеют значение. Не каждое событие нужно хранить с полной точностью; выборка и агрегация — законные инженерные решения, при условии что выборка документирована, а агрегация не скрывает события, которые имеют значение.
Усталость от оповещений. Это доминирующий режим отказа. Если пороги не настроены для каждого класса инструментов, сигнал порождает постоянный поток малоценных оповещений, и проверяющие перестают их читать. Отказ не в том, что сигнал неверен; а в том, что сигнал игнорируется. Настройка для каждого класса инструментов не опциональна. Порог класса чтения и порог класса записи не должны иметь одно и то же значение.
Ложные отрицательные против ложных положительных. Для необратимых действий ложный отрицательный результат дороже ложного положительного. Заблокированную запись можно проверить и разрешить. Завершённое удаление — нельзя. Эта асимметрия говорит в пользу более строгих порогов для необратимых действий и более мягких для обратимых чтений, даже когда это означает больше ложных положительных результатов на пути чтения.
Адаптация противника. Агент, оптимизированный против сигнала, научится избегать признаков, которые его запускают. Обнаружение новизны деградирует по мере того, как новизна становится знакомой. Сигналу нужна периодическая перебазировка, и сама перебазировка — это событие проверки.
Что это меняет
Практический сдвиг — от разовой оценки к текущей. Реестр по-прежнему существует, но он содержит указатель на живой сигнал и политику, которая отображает уровни сигнала на шлюзы действий. Разговор с вендором меняется с предоставьте карточку оценки на раскройте телеметрию, которая делает сигнал возможным. Разговор о проверке меняется с одобрен ли этот агент на что сделал этот запуск и пересёк ли он порог.
Это более сложный рабочий процесс для построения и более сложный для продажи. Это также единственный, который остаётся верным по мере изменения поведения агента, а оно изменится, потому что среда, в которой он работает, тоже меняется.