الگوی کانسیرج یک مسیر جایگزین است، نه یک تور ایمنی
کانسیرج انسانی گزارش‌شده توسط متا برای Muse را بهتر است به‌عنوان یک مسیر جایگزین برای درخواست‌هایی بخوانیم که agent نمی‌تواند در محدوده اطمینان خود حل کند، نه به‌عنوان یک ویژگی اعتماد که روی معماری لایه‌بندی شده باشد. این تمایز مهم است چون آنچه را که اندازه می‌گیرید، آنچه را که نیرو می‌گیرید، و آنچه را که وعده می‌دهید تغییر می‌دهد.
ارزش کانسیرج ایمنی به‌صورت انتزاعی نیست. یک دریچه فرار کراندار برای قصد کم‌مشخص است. وقتی agent با درخواستی مواجه می‌شود که معیارهای موفقیتش مبهم است، کانسیرج آن ابهام را جذب می‌کند و یا آن را حل می‌کند یا یک دستور شفاف‌شده برمی‌گرداند. این یک کارکرد ظرفیت است. این تضمینی نیست که هیچ چیز بدی رخ نمی‌دهد.
هر ارجاع، تأخیر agent را با تأخیر صف انسانی معاوضه می‌کند. زمان پاسخ agent در میلی‌ثانیه تا ثانیه اندازه‌گیری می‌شود. زمان پاسخ کانسیرج در دقیقه تا ساعت اندازه‌گیری می‌شود و توسط عمق صف، پوشش شیفت، و پیچیدگی درخواست کنترل می‌شود. اگر هر دو را با واحدهای یکسان اندازه نگیرید، اصلاً نمی‌توانید درباره تجربه کاربر استدلال کنید. سیستمی که نود و پنج درصد درخواست‌ها را در کمتر از دو ثانیه و پنج درصد را در چهل دقیقه حل می‌کند، یک سیستم دو ثانیه‌ای نیست. یک سیستم دوقله‌ای است و دُم آن محصول است.
ارجاع یک مسئله صف‌بندی است
لایه کانسیرج یک صف سرویس با تعداد محدودی سرور است. دو عددی که تعداد نیرو را تعیین می‌کنند، هدف نرخ ارجاع و حداکثر انتظار قابل تحمل هستند. این‌ها تصمیمات سیاستی هستند، نه مشاهدات. شما آن‌ها را انتخاب می‌کنید، سپس بر اساس آن‌ها نیرو می‌گیرید. اول نیرو گرفتن و بعد کشف نرخ ارجاع، روشی است که لایه‌های جایگزین به گلوگاه تبدیل می‌شوند.
ظرفیت کانسیرج زمانی که آستانه اطمینان agent به سمت بالا می‌رود، به‌صورت غیرخطی فرو می‌ریزد. افزایش کوچک در آستانه، با هدف کاهش خطاهای agent، می‌تواند حجم ارجاع را دو یا سه برابر کند. سیستم‌های صف‌بندی نزدیک اشباع به‌صورت تدریجی تخریب نمی‌شوند؛ زمان انتظار با نزدیک شدن بهره‌وری به یک بدون کران رشد می‌کند. یک تیم کانسیرج که برای نرخ ارجاع پنج درصد اندازه‌گیری شده است، در ده درصد فقط کند نمی‌شود. شکست می‌خورد و شکست برای کاربران به‌صورت انتظارهای نامحدود قابل مشاهده خواهد بود.
نسبت ارجاع را به‌ازای هر کلاس قصد اندازه‌گیری کنید، نه به‌ازای هر نشست. میانگین‌های سطح نشست دُم را پنهان می‌کنند. اگر اختلافات بازپرداخت با چهل درصد ارجاع می‌شوند در حالی که بازنشانی رمز عبور با یک درصد ارجاع می‌شود، عدد تجمیعی برای برنامه‌ریزی ظرفیت بی‌معناست. کلاس قصد واحد تحلیل است چون واحد کار است. همچنین واحدی است که به داده‌های آموزش، پوشش ابزار، و استثناهای سیاست نگاشت می‌شود.
مکانیزمی که ارزش ساختن دارد یک داشبورد ارجاع به‌ازای هر قصد است که سه کمیت را در طول زمان ردیابی می‌کند: حجم درخواست‌های مسیریابی‌شده به agent، کسری که ارجاع می‌شوند، و توزیع زمان رسیدگی کانسیرج برای آن قصد. این سه عدد به شما اجازه می‌دهند عمق صف را تحت آستانه‌های اطمینان مختلف قبل از تغییر آن‌ها پیش‌بینی کنید. بدون آن‌ها، تنظیم آستانه حدس و گمان با هزینه انسانی است.
قواعد طراحی برای یک لایه جایگزین
agent باید هنگام تحویل، یک رکورد ارجاع ساختاریافته صادر کند. رکورد باید شامل کلاس قصد، ابزارهایی که agent تلاش کرده، امتیاز اطمینان در نقطه ارجاع، و ابهام خاصی که مانع حل شده باشد. یک خلاصه متن‌آزاد کافی نیست. فیلد ابهام چیزی است که رکورد را در پایین‌دست مفید می‌کند، چون اطلاعات گمشده را نام می‌برد نه توصیف شکست.
اقدامات کانسیرج باید به‌عنوان نمونه‌های سیاستی جدید در agent قابل بازپخش باشند. وقتی کانسیرج یک درخواست را حل می‌کند، آن حل یک نمونه برچسب‌خورده از آنچه agent باید انجام می‌داد است. اگر آن نمونه‌ها به شکل ساختاریافته ثبت شوند، می‌توانند به‌عنوان نمونه‌های few-shot، داده‌های fine-tuning، یا ورودی‌های retrieval به سیاست agent بازخورانده شوند. این حلقه را می‌بندد و تنها مکانیزمی است که نرخ ارجاع در طول زمان کاهش می‌یابد. بدون آن، کانسیرج یک مرکز هزینه دائمی است نه موقت.
مکانیزم بازپخش یک شکل مشخص دارد. هر رکورد ارجاع با ردگیری حل کانسیرج جفت می‌شود: سؤال شفاف‌سازی پرسیده‌شده، فراخوانی‌های ابزار انجام‌شده، و نتیجه نهایی. آن جفت به یک نمونه آموزش برای کلاس قصد مورد نظر تبدیل می‌شود. استقرار بعدی agent باید کاهش قابل اندازه‌گیری در نرخ ارجاع برای آن کلاس نشان دهد، وگرنه آن نمونه نماینده نبوده و باید علامت‌گذاری شود.
تعداد ارجاع‌ها به‌ازای هر کاربر در هر دوره را محدود کنید. این کار مانع می‌شود که جایگزین به مسیر اصلی تبدیل شود. اگر کاربر بتواند به‌طور نامحدود ارجاع دهد، انگیزه agent برای حل ضعیف می‌شود و صف کانسیرج تقاضایی را جذب می‌کند که باید در بالادست رسیدگی می‌شد. یک سقف agent را مجبور به تلاش برای حل می‌کند و تیم محصول را مجبور به مواجهه با قصدهایی می‌کند که به‌طور مداوم شکست می‌خورند.
معاوضه صادقانه این است که سقف‌ها تجربه بدتری برای کاربرانی که به آن‌ها می‌رسند ایجاد می‌کنند. کاربری که به سقف رسیده است پاسخی از agent دریافت می‌کند که می‌داند ناکافی است، بدون هیچ مسیری به انسان. هیچ نسخه‌ای از این طراحی وجود ندارد که از آن نتیجه اجتناب کند. انتخاب بین یک تجربه بد کراندار برای تعداد کمی از کاربران و یک صف بی‌کران برای همه است. سقف شکست کمتری است، اما هنوز یک شکست است و باید ثبت و بررسی شود.
این چه چیزی را برای ارزیابی تغییر می‌دهد
سیستم مشترک، agent به‌علاوه کانسیرج، را بر تکمیل کار سرتاسری امتیاز دهید. دقت فقط agent یک معیار گمراه‌کننده است چون درخواست‌هایی که مسیریابی شده‌اند را حذف می‌کند. سیستمی با دقت نود درصد agent و نرخ ارجاع ده درصد، یک سیستم نود درصدی نیست. سیستمی است که نرخ تکمیل واقعی‌اش به نرخ حل کانسیرج برای قصدهای ارجاع‌شده بستگی دارد.
کسری از نتایج موفق که نیاز به مداخله انسانی داشتند را گزارش دهید. این نرخ خودکارسازی صادقانه است. اگر شصت درصد از نتایج موفق شامل کانسیرج بودند، سیستم خودکار نیست؛ انسان‌کمک با یک فرانت‌اند agent است. آن عدد باید روی همان داشبوردی باشد که تأخیر و هزینه قرار دارند و با همان جدیت بررسی شود.
ارزیابی همچنین باید توزیع تأخیر سرتاسری را گزارش دهد، نه فقط میانگین را. میانگین سه ثانیه می‌تواند یک توزیع دوقله‌ای با دُم چهل دقیقه‌ای را پنهان کند. گزارش صدک در صدک‌های نود و پنجم و نود و نهم حداقل است. برای لایه کانسیرج به‌طور خاص، توزیع زمان انتظار را جدا از زمان پاسخ agent گزارش دهید، چون توسط مکانیزم‌های مختلف و محدودیت‌های ظرفیت مختلف کنترل می‌شوند.
یک هارنس ارزیابی مفید، کانسیرج را به‌عنوان یک صف شبیه‌سازی‌شده با نرخ سرویس قابل تنظیم در نظر می‌گیرد. اجرای agent در برابر آن هارنس تحت آستانه‌های ارجاع مختلف یک منحنی تولید می‌کند: نرخ ارجاع در برابر نرخ تکمیل سرتاسری و تأخیر دُم. آن منحنی فضای طراحی است. انتخاب یک نقطه روی آن یک تصمیم محصولی است، اما باید تصمیمی آگاهانه باشد.
نتیجه‌گیری
کانسیرج یک بودجه تأخیر با تعداد نیروی متصل است. یک دریچه فرار کراندار برای قصد کم‌مشخص می‌خرد و هزینه‌اش تأخیر صف، نیروی انسانی، و یک تعهد بازخورد دائمی است. برخورد با آن به‌عنوان یک لایه ایمنی هر سه را پنهان می‌کند. برخورد با آن به‌عنوان یک صف آن‌ها را صریح، قابل اندازه‌گیری، و قابل تنظیم می‌کند. تیم‌هایی که این را درست انجام می‌دهند، آن‌هایی خواهند بود که ارجاع را به‌ازای هر کلاس قصد اندازه‌گیری می‌کنند، حلقه بازپخش را می‌بندند، و نرخ خودکارسازی خود را صادقانه گزارش می‌دهند.