Как правильно читать этот разрыв
Повторяющаяся закономерность в корпоративной отчётности по ИИ — широкое соотношение между предоставленными местами и фактически завершёнными сессиями. Конкретное число в заголовках меняется от опроса к опросу, но форма остаётся стабильной: много лицензий, мало завершённых задач. Инстинктивно это читается как проблема энтузиазма — пользователям дали доступ, а они им не воспользовались. Такое прочтение обычно ошибочно.
Большое соотношение между местами и завершёнными сессиями — это сигнал о дизайне задач. Когда агент привязан к рабочему процессу без чёткого условия завершения, сессия не проваливается громко. Она застревает. Пользователь открывает инструмент, получает правдоподобный промежуточный результат, не может понять, завершена ли работа, и возвращается к прежнему методу. Лицензия израсходована. Ничего не завершено. Метрика, считающая лицензии, фиксирует закупку, а не то, завершил ли агент хоть что-нибудь.
Этот разрыв сохраняется у разных поставщиков и в разных поколениях моделей. Если бы это была проблема качества продукта, он бы сужался по мере улучшения моделей. Пропорционального сужения не произошло. Такая стабильность указывает на структурную причину: единица работы, данная агенту, имеет неверный размер.
Декомпозируйте, прежде чем делегировать
Прежде чем выбирать модель, декомпозируйте рабочий процесс. Полезное разделение — не по отделам и не по инструментам. Оно по тому, есть ли у шага проверяемое условие завершения.
У шага есть проверяемое условие завершения, когда третья сторона — скрипт, рецензент, проверка схемы — может посмотреть на результат и согласиться, завершён ли он. Примеры: извлечь эти двенадцать полей из этого документа в эту схему; классифицировать эти тикеты по этой таксономии; подготовить ответ, цитирующий только источники из этого корпуса; сверить эти два списка и отметить расхождения. Такие шаги можно передать агенту, потому что агента можно оценивать по шагу, а не по всей работе.
У шага нет проверяемого условия завершения, когда определение готовности живёт в голове человека или в неписаной норме. Примеры: решить, приемлем ли этот договор; выбрать, какую из трёх стратегий реализовывать; судить, подвержен ли этот клиент риску. Такие шаги требуют точки принятия решения человеком или должны быть сужены, пока у них не появится проверяемый результат. «Решить, приемлем ли этот договор» превращается в «извлечь пункты, отличающиеся от стандартного шаблона, и отметить их» — что проверяемо — с последующим решением человека.
Большинство неудачных внедрений привязывают агента ко всему рабочему процессу, а не к ограниченному шагу внутри него. Агента просят владеть процессом от начала до конца. Поскольку у процесса нет единого условия завершения, агент не может знать, когда остановиться, и пользователь тоже. Сессия заканчивается неопределённостью, что фиксируется как неиспользование.
Конкретный механизм: контракт ограниченного шага
Один из способов сделать это операционным — контракт ограниченного шага. Для каждого шага-кандидата запишите четыре вещи до выбора любой модели:
- вход, который потребляет шаг, в фиксированной форме;
- выход, который производит шаг, в фиксированной форме;
- проверку, определяющую, приемлем ли выход;
- путь эскалации при провале проверки.
Если что-то из четырёх нельзя записать, шаг не готов для агента. Это намеренно скучно. Это заставляет декомпозицию происходить на этапе проектирования, а не обнаруживаться во время пилота.
Контракт также даёт вам то, что можно инструментировать. Поскольку форма выхода и проверка явны, вы можете логировать, где именно шаг провалился, а не только то, что он провалился. Это разница между внедрением, которое можно отлаживать, и тем, которое можно только забросить.
Инструментирование оттока
Дашборды внедрения обычно фиксируют, завершилась ли сессия успехом. Это наименее полезный из д
Сессия, заброшенная на втором шаге, — это другой сигнал, чем заброшенная на девятом. Заброшенность на втором шаге обычно означает, что шаг был неверно ограничен — форма входа не соответствовала реальности или проверку было невозможно удовлетворить. Заброшенность на девятом шаге обычно означает, что шаг был ограничен правильно, но окружающий рабочий процесс не был готов: выходу некуда было идти или точка принятия решения человеком ниже по потоку не была укомплектована.
Телеметрия на уровне траектории превращает статистику внедрения в проектный вход. Вместо вопроса «внедрили ли пользователи инструмент» вы спрашиваете «какой шаг в этом рабочем процессе теряет сессии и что у этого шага общего с другими шагами, теряющими сессии». У второго вопроса есть ответ, меняющий дизайн. У первого — нет.
Практический паттерн — логировать индекс шага в конце сессии вместе с результатом проверки на этом шаге. За несколько недель это даёт кривую оттока по шагам для рабочего процесса. Шаги с высоким оттоком и проваленной проверкой — это ошибки декомпозиции. Шаги с высоким оттоком и пройденной проверкой — это ошибки интеграции. Эти два случая требуют разных исправлений, а флаг успеха/неудачи не может их различить.
Неудобный вывод
В некоторые рабочие процессы агента вообще не следует помещать. Сказать это дешевле, чем ещё один пилот. Пилот, идущий квартал и заключающий «пользователи не внедрили это», стоит столько же, сколько проектный обзор, заключающий «в этом рабочем процессе нет ограниченных шагов, достойных автоматизации», — только проектный обзор заканчивается раньше и оставляет рабочий процесс нетронутым.
Компромисс реален, и о нём стоит сказать прямо. Декомпозиция занимает время до того, как будет доставлена какая-либо ценность, и может заключить, что ответ — нет. Внедрение под руководством поставщика немедленно даёт доступ и откладывает вопрос. Для команды под давлением необходимости показать прогресс второй вариант привлекательнее. Это также вариант, порождающий разрыв в использовании.
У поставщиков есть стимул отчитываться о местах, потому что места — это то, что они продают. Покупателям нужно отчитываться о завершённых единицах работы, потому что завершённая работа — это то, что они потребляют. Эти две метрики будут расходиться, и расхождение — не скандал. Это несоответствие измерений, которое становится проблемой только тогда, когда покупатель принимает метрику поставщика как свою собственную.
Метрика, за которой стоит следить, — повторное использование на одном и том же ограниченном шаге. Входы в первую неделю измеряют любопытство. Повторное использование шага с проверяемым выходом измеряет, действительно ли шаг лучше с агентом внутри. Если шаг использован один раз и заброшен, декомпозиция была неверной. Если он используется повторно одними и теми же людьми, шаг ограничен правильно, и контракт держится.
Это более медленный способ внедрять агентов. Это также единственный способ отличить рабочий процесс, которому нужна лучшая модель, от рабочего процесса, которому нужна другая форма.