مسئله کارت امتیاز
امتیازدهی ریسک ایجنت مدام به‌عنوان یک تمرین تدارکاتی بازمی‌گردد. یک دفتر ثبت به عددی قابل مقایسه نیاز دارد؛ یک فروشنده می‌تواند کارت امتیازی ارائه دهد بدون آنکه تله‌متری را افشا کند؛ کارت امتیاز به این پرسش پاسخ می‌دهد که آیا این ایجنت تأیید شده است نه اینکه آیا این اجرا ایمن است. این یک خطای مقوله‌ای است. امتیازی که در زمان استقرار محاسبه می‌شود، همان لحظه‌ای که ایجنت به ابزار جدید، مقصد جدید یا شکل وظیفه جدیدی دست می‌زند کهنه می‌شود. مصنوع مفید، عددی در یک دفتر ثبت نیست. سیگنالی است که به‌طور پیوسته از خود اجرا استخراج و به‌روزرسانی می‌شود.
این استدلالی علیه حاکمیت نیست. استدلالی درباره این است که شواهد کجا زندگی می‌کنند. حاکمیت به اشاره‌گری به یک سیگنال زنده نیاز دارد، نه جانشینی منجمد برای آن.
چرا امتیازدهی ایستا پابرجا می‌ماند
این پایداری ساختاری است، نه غیرمنطقی. تیم‌های تدارکات در قبال یک دفتر ثبت پاسخگو هستند. دفتر ثبت به ردیف نیاز دارد، و ردیف‌ها به مقادیری نیاز دارند که بتوان آن‌ها را میان فروشندگان، تیم‌ها و چرخه‌های بازبینی مقایسه کرد. کارت امتیاز با این گردش کار سازگار است. سیگنال زنده سازگار نیست، چون میان زمانی که خوانده می‌شود و زمانی که بر اساس آن اقدام می‌شود تغییر می‌کند.
عدم تقارنی نیز در آنچه فروشندگان می‌توانند ارائه دهند وجود دارد. کارت امتیاز را می‌توان بدون افشای تله‌متری، طرح‌واره‌های ابزار یا داده‌های رد تولید کرد. سیگنال زمان اجرا را نمی‌توان. درخواست چنین سیگنالی، درخواست دید نسبت به نحوه رفتار واقعی ایجنت است، که گفتگویی تجاری متفاوت است.
نتیجه این است که دفتر ثبت در نهایت به پرسشی پاسخ می‌دهد که پاسخ‌دادن به آن آسان است و به‌ندرت همان پرسشی است که اهمیت دارد. تأیید یک دروازه است. ایمنی خاصیتی از یک مسیر است. این دو یکی نیستند، و درهم‌آمیختن آن‌ها حس کاذبی از پوشش ایجاد می‌کند.
یک اجرا واقعاً چه چیزی را آشکار می‌کند
یک اجرا دنباله‌ای از تصمیم‌هاست. توالی فراخوانی ابزارها انحراف قصد را نشان می‌دهد که هیچ پرسش‌نامه پیش از استقراری آن را ثبت نمی‌کند. ایجنتی که با خواندن یک سند شروع می‌کند و با نوشتن به یک نقطه پایانی خارجی تمام می‌کند، پروفایل ریسک مؤثر خود را درون یک وظیفه واحد تغییر داده است، و هیچ امتیاز ایستایی این گذار را بازتاب نمی‌دهد.
چندین ویژگی قابل مشاهده و ارزان برای ثبت وجود دارد:
- توالی فراخوانی ابزارها. ترتیب، مجاورت و تکرار. ترکیب بدیعی از ابزارها که هرگز پیش‌تر با هم در اجراهای قبلی ظاهر نشده‌اند، سیگنالی متفاوت از یک زنجیره آشناست.
- مقاصد خروجی. میزبان‌ها، پروتکل‌ها و مسیرهای نخستین‌بار دیده‌شده. بدیع بودن سیگنالی قوی‌تر از فهرست مسدودسازی است، چون فهرست‌های مسدودسازی عقب می‌مانند.
- ترکیب افعال. نسبت عملیات خواندنی به نوشتنی. جابه‌جایی به سمت نوشتن، حذف یا ارسال، پیامد یک خطا را تغییر می‌دهد.
- الگوهای تلاش مجدد. تلاش‌های مکرر پس از یک شکست می‌تواند نشانه یک خطای گذرا یا یک تلاش برای تشدید باشد. این تمایز مهم است.
- تلاش‌های تشدید. درخواست‌های مجوزهای گسترده‌تر، مهلت‌های طولانی‌تر یا ابزارهای اضافی در میانه اجرا.
همان ایجنت می‌تواند در یک وظیفه کم‌ریسک و در وظیفه‌ای دیگر در فاصله یک ساعت پرریسک باشد. یک وظیفه خلاصه‌سازی که سندی را می‌خواند و متن بازمی‌گرداند، همان شیء ریسک وظیفه‌ای نیست که سندی را می‌خواند، به یک پایگاه داده پرس‌وجو می‌زند و به یک سرویس خارجی ارسال می‌کند، حتی وقتی هر دو توسط همان ایجنت با همان پیکربندی اجرا شوند.
طراحی یک سیگنال عملی
هدف طراحی، سیگنالی است که از مسیر استخراج شود، همراه با گسترش مسیر به‌روزرسانی شود، و به اقدام‌ها متصل باشد نه به ایجنت‌ها.
ریسک را از ویژگی‌های مسیر استخراج کنید
اجرا را امتیاز دهید، نه ایجنت را. ویژگی‌ها شامل ترکیب‌های بدیع ابزار، مقاصد نخستین‌بار دیده‌شده، جابه‌جایی‌های ترکیب افعال، انفجارهای تلاش مجدد و تلاش‌های تشدید است. هر ویژگی به سیگنالی کمک می‌کند که با رسیدن رویدادهای جدید بازمحاسبه می‌شود. سیگنال تابعی از مسیر پیموده‌شده است، نه خاصیتی از موجودیتی که آن را پیموده است.
یک سازوکار مشخص: یک خط پایه برای هر کلاس ابزار از توالی فراخوانی‌ها و مقاصد مشاهده‌شده نگه دارید. وقتی یک اجرا ترکیبی تولید می‌کند که پیش‌تر مشاهده نشده، یا مقصدی که پیش‌تر دیده نشده، یک رویداد بدیع بودن منتشر کنید. رویدادهای بدیع بودن را در یک پنجره لغزان تجمیع کنید تا سیگنال ریسک جاری تولید شود. پنجره مهم است چون یک مقصد بدیع واحد نویز است؛ خوشه‌ای از آن‌ها در فاصله‌ای کوتاه نویز نیست.
آستانه‌ها را به اقدام‌ها متصل کنید، نه به ایجنت‌ها
آستانه باید اقدام را دروازه‌بندی کند، نه کنشگر را. یک خواندن ارزان است که مجاز شود. یک نوشتن به مقصد نخستین‌بار دیده‌شده چنین نیست. یک حذف چنین نیست. یک تشدید مجوز چنین نیست. آستانه‌های بیان‌شده در سطح اقدام اجازه می‌دهند یک اجرای کم‌ریسک بدون بازبینی پیش برود، در حالی که گام مشخصی که پیامد دارد را متوقف می‌کنند.
اینجا همچنین جایی است که مدخل دفتر ثبت تعلق دارد. دفتر ثبت باید اشاره‌گری به سیگنال زنده و سیاست آستانه جاری را نگه دارد، نه یک امتیاز ایستا. مدخل به این پرسش پاسخ می‌دهد که شواهد کجاست و چه سیاستی اعمال می‌شود، نه اینکه آیا این ایجنت ایمن است.
دفتر ثبتی که به یک سیگنال زنده اشاره می‌کند، با تغییر سیگنال مفید می‌ماند. دفتر ثبتی که عددی منجمد را نگه می‌دارد، به‌محض انحراف رفتار ایجنت از شرایطی که عدد تحت آن محاسبه شده، گمراه‌کننده می‌شود. اشاره‌گر مصنوع حاکمیت است. سیگنال مصنوع عملیاتی است.
بده‌بستان‌ها
امتیازدهی پیوسته رایگان نیست، و هزینه‌ها واقعی‌اند.
ذخیره‌سازی و توجه بازبینی. ثبت ویژگی‌های مسیر برای هر اجرا حجمی از داده تولید می‌کند که باید ذخیره، پرس‌وجو و بازبینی شود. سیاست‌های نگهداری مهم‌اند. لازم نیست هر رویداد با وفاداری کامل نگه داشته شود؛ نمونه‌گیری و تجمیع انتخاب‌های مهندسی مشروع‌اند، به شرطی که نمونه‌گیری مستند باشد و تجمیع رویدادهایی را که اهمیت دارند پنهان نکند.
خستگی هشدار. این حالت غالب شکست است. اگر آستانه‌ها برای هر کلاس ابزار تنظیم نشوند، سیگنال جریانی پیوسته از هشدارهای کم‌ارزش تولید می‌کند و بازبین‌ها خواندن آن‌ها را متوقف می‌کنند. شکست این نیست که سیگنال اشتباه است؛ این است که سیگنال نادیده گرفته می‌شود. تنظیم برای هر کلاس ابزار اختیاری نیست. آستانه کلاس خواندن و آستانه کلاس نوشتن نباید مقدار مشترکی داشته باشند.
منفی‌های کاذب در برابر مثبت‌های کاذب. برای اقدام‌های بازگشت‌ناپذیر، یک منفی کاذب پرهزینه‌تر از یک مثبت کاذب است. یک نوشتن مسدودشده را می‌توان بازبینی و آزاد کرد. یک حذف انجام‌شده را نمی‌توان. این عدم تقارن به نفع آستانه‌های تنگ‌تر برای اقدام‌های بازگشت‌ناپذیر و آستانه‌های گشادتر برای خواندن‌های بازگشت‌پذیر است، حتی وقتی این به معنای مثبت‌های کاذب بیشتر در مسیر خواندن باشد.
سازگاری خصمانه. ایجنتی که علیه سیگنال بهینه‌سازی شود، یاد می‌گیرد از ویژگی‌هایی که آن را فعال می‌کنند اجتناب کند. تشخیص بدیع بودن با آشنا شدن بدیع بودن تحلیل می‌رود. سیگنال به بازخط‌پایه‌گذاری دوره‌ای نیاز دارد، و خود بازخط‌پایه‌گذاری یک رویداد بازبینی است.
این چه چیزی را تغییر می‌دهد
جابه‌جایی عملی از ارزیابی یک‌باره به ارزیابی در حال اجراست. دفتر ثبت هنوز وجود دارد، اما اشاره‌گری به یک سیگنال زنده و سیاستی که سطوح سیگنال را به دروازه‌های اقدام نگاشت می‌کند، نگه می‌دارد. گفتگوی فروشنده از کارت امتیاز ارائه بده به تله‌متری‌ای را افشا کن که سیگنال را ممکن می‌کند تغییر می‌کند. گفتگوی بازبینی از آیا این ایجنت تأیید شده است به این اجرا چه کرد، و آیا از آستانه گذشت تغییر می‌کند.
این گردش کاری سخت‌تر برای ساختن و سخت‌تر برای فروختن است. همچنین تنها گردش کاری است که با تغییر رفتار ایجنت صادق می‌ماند، که تغییر خواهد کرد، چون محیطی که در آن فعالیت می‌کند نیز تغییر می‌کند.