Паттерн консьержа — это резервный путь, а не страховочная сетка
Сообщаемый Meta человеческий консьерж для Muse лучше всего читается как резервный путь для запросов, которые агент не может разрешить в пределах своего доверительного интервала, а не как функция доверия, надстроенная поверх архитектуры. Различие важно, потому что оно меняет то, что вы измеряете, кого вы нанимаете и что вы обещаете.
Ценность консьержа не в безопасности в абстрактном смысле. Это ограниченный аварийный выход для недостаточно определённых намерений. Когда агент сталкивается с запросом, критерии успеха которого неоднозначны, консьерж поглощает эту неоднозначность и либо разрешает её, либо возвращает уточнённую инструкцию. Это функция пропускной способности. Это не гарантия того, что ничего плохого не произойдёт.
Каждая эскалация обменивает задержку агента на задержку человеческой очереди. Время отклика агента измеряется в миллисекундах и секундах. Время отклика консьержа измеряется в минутах и часах и определяется глубиной очереди, покрытием смен и сложностью запроса. Если вы не измеряете оба в одних и тех же единицах, вы вообще не можете рассуждать о пользовательском опыте. Система, которая разрешает девяносто пять процентов запросов менее чем за две секунды, а пять процентов — за сорок минут, не является двухсекундной системой. Это бимодальная система, и хвост — это и есть продукт.
Эскалация — это задача теории массового обслуживания
Уровень консьержа — это очередь на обслуживание с конечным числом серверов. Два числа, которые определяют численность персонала, — это целевая частота эскалаций и максимально допустимое время ожидания. Это политические решения, а не наблюдения. Вы выбираете их, а затем набираете персонал под них. Сначала набрать персонал, а частоту эскалаций выяснить потом — так резервные уровни превращаются в узкие места.
Пропускная способность консьержа нелинейно обрушивается, как только порог уверенности агента смещается вверх. Небольшое повышение порога, задуманное для снижения ошибок агента, может удвоить или утроить объём эскалаций. Системы массового обслуживания не деградируют плавно вблизи насыщения; время ожидания растёт неограниченно по мере приближения загрузки к единице. Команда консьержей, рассчитанная на пятипроцентную частоту эскалаций, при десяти процентах не просто замедлится. Она откажет, и этот отказ будет виден пользователям как бесконечное ожидание.
Инструментируйте коэффициент эскалации по классам намерений, а не по сессиям. Средние по сессиям скрывают хвост. Если споры о возвратах эскалируются в сорока процентах случаев, а сбросы паролей — в одном проценте, агрегированное число бессмысленно для планирования пропускной способности. Класс намерения — это единица анализа, потому что это единица работы. Это также единица, которая отображается на обучающие данные, покрытие инструментов и исключения политики.
Механизм, который стоит построить, — это дашборд эскалаций по намерениям, отслеживающий три величины во времени: объём запросов, направленных агенту, долю эскалируемых и распределение времени обработки консьержем для данного намерения. Эти три числа позволяют прогнозировать глубину очереди при разных порогах уверенности до того, как вы их измените. Без них настройка порога — это гадание с человеческой ценой.
Правила проектирования резервного уровня
Агент должен выдавать структурированную запись об эскалации, когда передаёт запрос. Запись должна содержать класс намерения, инструменты, которые агент попытался использовать, оценку уверенности в точке эскалации и конкретную неоднозначность, которая заблокировала разрешение. Сводка в свободной форме недостаточна. Поле неоднозначности — это то, что делает запись полезной в дальнейшем, потому что оно называет недостающую информацию, а не описывает сбой.
Действия консьержа должны воспроизводиться в агенте как новые примеры политики. Когда консьерж разрешает запрос, это разрешение является размеченным примером того, что агент должен был сделать. Если эти примеры фиксируются в структурированной форме, их можно подавать обратно в политику агента как few-shot примеры, данные для дообучения или записи для retrieval. Это замыкает цикл и является единственным механизмом, благодаря которому частота эскалаций со временем падает. Без него консьерж — это постоянный центр затрат, а не временный.
Механизм воспроизведения имеет конкретную форму. Каждая запись об эскалации сопоставляется с трассировкой разрешения от консьержа: заданный уточняющий вопрос, сделанные вызовы инструментов и итоговый результат. Эта пара становится обучающим примером для соответствующего класса намерений. Следующее развёртывание агента должно показать измеримое снижение частоты эскалаций для этого класса, иначе пример не был репрезентативным и должен быть помечен.
Ограничьте число эскалаций на пользователя за период. Это не даёт резервному пути стать основным. Если пользователь может эскалировать бесконечно, стимул агента разрешать запрос ослабевает, и очередь консьержа поглощает спрос, который должен был быть обработан выше по потоку. Ограничение заставляет агента пытаться разрешить запрос и заставляет продуктовую команду взглянуть в лицо намерениям, которые стабильно проваливаются.
Честный компромисс в том, что ограничения создают худший опыт для пользователей, которые в них упираются. Пользователь, исчерпавший лимит, получает ответ агента, который, как он знает, неадекватен, без пути к человеку. Нет версии этого дизайна, которая избегает такого исхода. Выбор между ограниченным плохим опытом для небольшого числа пользователей и неограниченной очередью для всех. Ограничение — меньшее из зол, но это всё ещё провал, и его следует логировать и анализировать.
Что это меняет для оценки
Оценивайте совместную систему, агента плюс консьержа, по сквозному выполнению задачи. Точность только агента — вводящая в заблуждение метрика, потому что она исключает запросы, которые были перенаправлены. Система с девяностопроцентной точностью агента и десятипроцентной частотой эскалаций — не девяностопроцентная система. Это система, чья истинная частота выполнения зависит от частоты разрешения консьержем эскалированных намерений.
Сообщайте долю успешных исходов, потребовавших вмешательства человека. Это честная степень автоматизации. Если шестьдесят процентов успешных исходов включали консьержа, система не автоматизирована; она работает с участием человека с агентом на входе. Это число должно быть на том же дашборде, что и задержка с затратами, и рассматриваться с той же серьёзностью.
Оценка также должна сообщать распределение сквозной задержки, а не только среднее. Среднее в три секунды может скрывать бимодальное распределение с сорокаминутным хвостом. Отчётность по процентилям на девяносто пятом и девяносто девятом процентилях — это минимум. Для уровня консьержа конкретно сообщайте распределение времени ожидания отдельно от времени отклика агента, потому что они управляются разными механизмами и разными ограничениями пропускной способности.
Полезный стенд для оценки рассматривает консьержа как имитируемую очередь с настраиваемой скоростью обслуживания. Прогон агента против этого стенда при разных порогах эскалации даёт кривую: частота эскалаций против сквозной частоты выполнения и хвостовой задержки. Эта кривая — пространство проектирования. Выбор точки на ней — продуктовое решение, но оно должно быть информированным.
Вывод
Консьерж — это бюджет задержки с прилагаемой численностью персонала. Он покупает ограниченный аварийный выход для недостаточно определённых намерений и стоит задержки в очереди, staffing и постоянного обязательства по обратной связи. Отношение к нему как к уровню безопасности скрывает все три. Отношение к нему как к очереди делает их явными, измеримыми и настраиваемыми. Команды, которые сделают это правильно, будут теми, кто инструментирует эскалацию по классам намерений, замыкает цикл воспроизведения и честно сообщает свою степень автоматизации.