زوال آرام حلقه انسانی
حلقه انسانی اغلب به عنوان یک ویژگی ایمنی توصیف می‌شود. در عمل، یک مسیر جایگزین است، و مسیرهای جایگزین به آرامی زوال می‌یابند. زوال به ندرت خود را به عنوان شکست اعلام می‌کند؛ به صورت افزایش تأخیر، تصمیمات ناسازگار، و انبوهی رو به رشد از موارد لبه‌ای حل‌نشده ظاهر می‌شود. مکانیزم در همه استقرارها یکسان است: تشدید بدون تحویل وضعیت رخ می‌دهد، بنابراین اپراتور باید زمینه را از یک رونوشت بازسازی کند. بازسازی توأم با از دست رفتن اطلاعات است. اپراتور یک تصمیم منطقی محلی می‌گیرد، درخواست پیش می‌رود، و علت اصلی دست‌نخورده باقی می‌ماند.
یک مکانیزم مشخص مشکل را نشان می‌دهد. از یک عامل خواسته می‌شود یک رکورد حمل‌ونقل را با یک فاکتور تطبیق دهد. این عامل یک ابزار بازیابی را فراخوانی می‌کند، دو تطبیق نامزد دریافت می‌کند، و نمی‌تواند ابهام‌زدایی کند. رونوشت هر دو نامزد و یک سؤال نهایی به کاربر را نشان می‌دهد. یک اپراتور انسانی که آن رونوشت را می‌خواند نامزدها را می‌بیند اما نه اطمینان درونی عامل، نه امتیازات بازیابی، نه پارامترهای ابزار، و نه قاعده سیاستی که انتخاب خودکار را مسدود کرده است. اپراتور یکی از نامزدها را انتخاب می‌کند. کار کامل می‌شود. هیچ چیز در حافظه عامل تغییر نمی‌کند، بنابراین حمل‌ونقل بعدی با همان ابهام به همان بن‌بست می‌رسد. انسان شکست را جذب کرده است نه اینکه آن را ترمیم کرده باشد.
این اولین حالت شکست است: تشدید بدون تحویل وضعیت، بازسازی را تحمیل می‌کند. دومی این است که اصلاح انسان به عنوان به‌روزرسانی سیاست یا حافظه نوشته نمی‌شود، بنابراین همان شکست تکرار می‌شود. سومی فشار حجم است. وقتی تشدیدها سریع‌تر از توان بررسی اپراتورها می‌رسند، تأیید کم‌مقاومت‌ترین مسیر می‌شود. مهر تأیید زدن، نظارت را به یک مالیات تأخیر تبدیل می‌کند: سازمان هزینه توجه انسانی را می‌پردازد اما ایمنی اضافی دریافت نمی‌کند، زیرا انسان دیگر تصمیم را ارزیابی نمی‌کند، فقط آن را پاک می‌کند.
یک قرارداد تشدید
یک قرارداد تشدید سه بخش دارد: محرک، بار داده، و بازگشت. هر بخش باید صریح و ماشین‌خوان باشد، نه اینکه با عرف ضمنی باشد.
محرک
محرک تعریف می‌کند که عامل چه زمانی متوقف می‌شود و تحویل می‌دهد. کلاس‌های مفید عبارتند از:
- آستانه‌های اطمینان: اطمینان کالیبره‌شده عامل در اقدام بعدی‌اش به زیر یک حد پیکربندی‌شده می‌افتد.
- خطاهای ابزار: یک ابزار خطا، نتیجه خالی، یا نقض طرح‌واره را برمی‌گرداند که عامل نمی‌تواند در بودجه تلاش مجدد خود حل کند.
- اقدامات برگشت‌ناپذیر: گام بعدی حذف، انتشار، انتقال، یا تعهد تغییر وضعیتی است که نمی‌توان آن را برگرداند.
- ردهای سیاستی: یک گاردریل یک اقدام را مسدود می‌کند، و عامل هیچ مسیر جایگزین مجازی ندارد.
محرک‌ها باید در کنار تعاریف ابزار عامل اعلام شوند، نه پراکنده در متن پرامپت. محرکی که فقط در یک پرامپت وجود دارد یک پیشنهاد است؛ محرکی که در کد وجود دارد یک قرارداد است.
بار داده
بار داده چیزی است که اپراتور دریافت می‌کند. یک رونوشت بار داده نیست. یک بار داده شامل موارد زیر است:
- هدف همان‌طور که عامل فهمیده است، شامل درخواست اصلی و هر شفاف‌سازی که قبلاً اعمال شده است.
- برنامه تا اینجا: کدام گام‌ها اجرا شدند، کدام موفق بودند، کدام نادیده گرفته شدند، و چرا.
- اقدامات نامزدی که عامل در نظر گرفته است، با پارامترهایی که استفاده می‌کرد.
- شواهد برای هر نامزد: امتیازات بازیابی، خروجی‌های ابزار، استنادات سیاستی، و عدم قطعیت خاصی که تشدید را برانگیخته است.
آزمون برای یک بار داده این است که آیا اپراتوری که هرگز این کار را ندیده است می‌تواند بدون باز کردن سیستم دیگری تصمیم بگیرد. اگر باید CRM را پرس‌وجو کند، بازیابی را دوباره اجرا کند، یا از درخواست‌کننده بپرسد منظورش چه بود، بار داده ناقص است.
بازگشت
بازگشت تعریف می‌کند که اپراتور چه کاری می‌تواند انجام دهد و تصمیم چه مصنوعی تولید می‌کند. سه پیامد بیشتر موارد را پوشش می‌دهند:
- تأیید: اپراتور اقدام پیشنهادی عامل را تأیید می‌کند. مصنوع یک رکورد تأیید امضاشده است که به پارامترهای اقدام و عکس فوری شواهد متصل است.
- اصلاح: اپراتور اقدام، پارامترها، یا هدف را تغییر می‌دهد. مصنوع یک تفاوت بین پیشنهاد عامل و تصمیم اپراتور، به‌علاوه یک کد دلیل است.
- لغو: اپراتور کار را متوقف می‌کند. مصنوع یک وضعیت پایانی با یک کد دلیل است، و یک پرچم که نشان می‌دهد آیا کار باید دوباره برنامه‌ریزی شود یا به درخواست‌کننده بازگردانده شود.
هر پیامد باید یک مصنوع پایدار تولید کند. تأییدی که فقط به صورت یک کلیک در یک صف وجود دارد پایدار نیست؛ نمی‌توان آن را حسابرسی، بازپخش، یا به عنوان سیگنال آموزشی استفاده کرد. مصنوع خروجی قرارداد است، و همان چیزی است که حلقه را قابل یادگیری می‌کند.
بستن حلقه
ارزش یک قرارداد تشدید این نیست که تصمیمات تک‌بهتر تولید می‌کند. این است که داده تولید می‌کند. هر اصلاح انسانی یک نامزد برای آزمون رگرسیون در مجموعه ارزیابی است. اصلاح یک موردی را رمزگذاری می‌کند که عامل اشتباه کرده و اصلاحی که یک انسان تأیید کرده است. آن جفت دقیقاً شکل یک مورد آزمون است: ورودی، اقدام مورد انتظار، و منطق.
خط لوله مکانیکی است. وقتی یک اپراتور یک اقدام را اصلاح می‌کند، تفاوت و کد دلیل در یک مخزن نوشته می‌شوند. یک گام بازبینی اصلاحات انتخاب‌شده را به مجموعه ارزیابی ارتقا می‌دهد، جایی که آن‌ها در هر تغییر علیه عامل فعلی اجرا می‌شوند. اگر عامل اکنون اقدام اصلاح‌شده اپراتور را برای آن ورودی تولید کند، مورد قبو
اینجاست که حلقه یا یاد می‌گیرد یا نمی‌گیرد. نرخ تشدید را به ازای هر کلاس کار ردیابی کنید. نرخ ثابت در طول زمان نشان می‌دهد که حلقه یاد نمی‌گیرد: همان کلاس‌ها به انسان می‌رسند، و اصلاحات رفتار عامل را تغییر نمی‌دهند. نرخ نزولی در یک کلاس، با کیفیت پایدار، نشان می‌دهد که اصلاحات جذب می‌شوند. نرخ صعودی نشان می‌دهد که کلاس کار در حال رانش است یا دامنه عامل بدون به‌روزرسانی متناظر سیاست‌هایش گسترش یافته است.
تشدید مکرر در همان کلاس کار یک نقص مشخصات است، نه یک مشکل اپراتور. اگر اپراتورها همان ابهام را اصلاح می‌کنند، دستورالعمل‌ها، ابزارها، یا گاردریل‌های عامل کم‌مشخص هستند. پاسخ صحیح تغییر مشخصات و سپس اجرای مجدد مجموعه ارزیابی است، نه افزودن اپراتورهای بیشتر یا سخت‌تر کردن صف.
معاوضه صادقانه
یک قرارداد تشدید قبل از اینکه چیزی صرفه‌جویی کند، زمان مهندسی هزینه دارد. محرک، بار داده، و بازگشت باید طراحی، ابزارگذاری، و نگهداری شوند. بار داده به‌ویژه گران است: جمع‌آوری هدف، برنامه، نامزدها، و شواهد نیاز دارد که عامل وضعیت درونی را افشا کند که بسیاری از چارچوب‌ها ضمنی نگه می‌دارند. تیم‌هایی که این کار را نادیده می‌گیرند یک دموی کارآمد و یک سیستم تولیدی شکننده دریافت می‌کنند.
معاوضه دوم این است که یک قرارداد سختگیرانه آزادی اپراتور را کاهش می‌دهد. اپراتوری که می‌تواند کل سیستم را ببیند اغلب می‌تواند مشکلی را به روش‌هایی حل کند که قرارداد پیش‌بینی نمی‌کند. محدود کردن آن‌ها به تأیید، اصلاح، یا لغو ممکن است مصنوعی به نظر برسد. این محدودیت عمدی است: اصلاحات نامحدود مصنوعات پایدار تولید نمی‌کنند، و بدون مصنوعات حلقه نمی‌تواند یاد بگیرد. قرارداد انعطاف‌پذیری کوتاه‌مدت اپراتور را با بهبود بلندمدت سیستم معاوضه می‌کند.
معاوضه سوم تأخیر است. تشدید یک رفت‌و‌برگشت انسانی به مسیر بحرانی اضافه می‌کند. قرارداد آن تأخیر را حذف نمی‌کند؛ آن را پاسخگو می‌کند. تشدیدی که یک آزمون رگرسیون تولید می‌کند یک سرمایه‌گذاری است. تشدیدی که یک کلیک تولید می‌کند یک هزینه است. تفاوت در این است که آیا مسیر بازگشت تعریف شده است.
چه چیزی را ابزارگذاری کنیم
یک مجموعه ابزارگذاری حداقلی برای یک قرارداد تشدید:
- نرخ تشدید به ازای هر کلاس کار، با یک پنجره لغزان.
- زمان تا تصمیم به ازای هر تشدید، تفکیک‌شده بر اساس نوع محرک.
- نرخ اصلاح در مقابل نرخ تأیید، به ازای هر اپراتور و هر کلاس کار.
- آزمون‌های رگرسیون ارتقا‌یافته از اصلاحات، و نرخ قبولی آن‌ها در طول زمان.
- نرخ عود: تشدیدها در یک کلاس کار که قبلاً توسط یک آزمون ارتقا‌یافته پوشش داده شده است.
نرخ عود تیزترین سیگنال است. اگر یک کلاس یک آزمون رگرسیون ارتقا‌یافته دارد و هنوز تشدید می‌شود، آزمون شکست را ثبت نمی‌کند، یا عامل از اصلاح استفاده نمی‌کند. هر دو مشکلات مهندسی با راه‌حل‌های مهندسی هستند.
نتیجه‌گیری
یک پذیرش انسانی ویژگی‌ای نیست که بازاریابی شود. یک مسیر جایگزین است که باید مانند هر رابط دیگری مهندسی شود: با یک محرک تعریف‌شده، یک بار داده کامل، و یک بازگشت که مصنوعات پایدار تولید می‌کند. بدون آن قرارداد، تشدید یک مالیات تأخیر می‌شود و نظارت به مهر تأیید زدن تبدیل می‌شود. با آن، هر مداخله انسانی یک نامزد برای مجموعه ارزیابی است، و حلقه شانسی برای یادگیری دارد. معیار یک مسیر تشدید خوب این نیست که چند وقت یکبار استفاده می‌شود، بلکه این است که چند وقت یکبار همان کلاس شکست دو بار به آن نیاز دارد.