دو کار که شبیه یکی به نظر می‌رسند
یک مدل تصمیم به یک پرسش مسیریابی پاسخ می‌دهد: با توجه به وضعیت فعلی، کدام شاخه به احتمال بیشتری به یک مسیر موفق منتهی می‌شود؟ این مدل روی ردهای رفتار گذشته آموزش دیده و در چند میلی‌ثانیه یک توکن تولید می‌کند. یک موتور سیاست به پرسش متفاوتی پاسخ می‌دهد: با توجه به وضعیت فعلی و اقدام پیشنهادی، آیا این اقدام مجاز است؟ این موتور مجموعه‌ای از قواعد اعلام‌شده و قابل بازبینی را ارزیابی می‌کند و در چند میلی‌ثانیه یک حکم برمی‌گرداند.
چون هر دو سریع پاسخ می‌دهند و هر دو روی مسیر بحرانی قرار دارند، نمودارهای معماری اغلب آن‌ها را در یک جعبه با برچسب «guardrails» یا «router» ادغام می‌کنند. این ادغام یک خطای مقوله‌ای است. یک router یک تابع آموخته‌شده روی مسیرها است. یک موتور سیاست یک تابع اعلانی روی قواعد است. آن‌ها حالت‌های شکست متفاوت، آهنگ تغییر متفاوت و تعهدات اثباتی متفاوتی دارند.
وقتی این دو یکی گرفته شوند، یک به‌روزرسانی مدل بی‌سروصدا تغییر می‌دهد که سیستم مجاز به انجام چه کاری است. اجرای آموزش به یک تغییر سیاست بازبینی‌نشده تبدیل می‌شود، و رد حسابرسی که بازبینی یک رخداد به آن نیاز دارد وجود ندارد.
چرا این جایگزینی وسوسه‌کننده است
تأخیر router در هر گام agent پرداخت می‌شود. یک طبقه‌بند ۲ میلیارد پارامتری که در طبقه‌بندی قصد امتیاز خوبی می‌گیرد، در یک دمو شبیه یک guardrail به نظر می‌رسد: سریع است، میزبانی‌اش ارزان است، و به نظر می‌رسد agent را روی وظیفه نگه می‌دارد. در مقابل، سیاست اعلانی یک سرویس جداگانه، یک شِما برای قواعد، یک فرایند بازبینی و یک داستان نسخه‌بندی اضافه می‌کند. مسیر ارزان برنده می‌شود تا زمانی که نخستین رخداد نیاز به توضیح دهد چرا یک اقدام انجام شده است.
آنچه یک موتور سیاست باید فراهم کند و یک طبقه‌بند نمی‌تواند
جبرگرایی. همان درخواست و زمینه باید در سراسر نسخه‌های مدل همان حکم را بدهد. حکم یک طبقه‌بند می‌تواند با یک به‌روزرسانی وزن، یک تغییر دما، یا ترتیب دسته‌بندی متفاوت جابه‌جا شود. حکم یک موتور سیاست تابعی از قواعد اعلام‌شده و ورودی‌های صریح است.
شمارش‌پذیری. یک حسابرس باید بتواند هر کلاس اقدام مجاز سیستم را فهرست کند. یک طبقه‌بند را می‌توان کاوش کرد، اما کاوش نمونه تولید می‌کند، نه شمارش. این تمایز وقتی مهم می‌شود که پرسش «این سیستم چه کاری می‌تواند انجام دهد؟» باشد، نه «سه‌شنبه گذشته چه کاری انجام داد؟»
انتساب. هر حکم باید قاعده‌ای را نام ببرد که آن را تولید کرده، نه یک احتمال. وقتی یک agent اقدامی انجام می‌دهد که بعداً اشتباه به نظر می‌رسد، رد باید بگوید کدام قاعده آن را مجاز دانسته است. امتیاز اطمینان ۰٫۸۷ به این پرسش پاسخ نمی‌دهد.
نسخه‌بندی. قواعد با آهنگ بازبینی تغییر می‌کنند، نه با آهنگ آموزش. تاریخچه نسخه یک موتور سیاست دنباله‌ای از تغییرات بازبینی‌شده است؛ تاریخچه نسخه یک مدل دنباله‌ای از اجراهای آموزش است. این‌ها مصنوعات متفاوتی با بازبین‌های متفاوت و معناشناسی بازگردانی متفاوت هستند.
یک سازوکار مشخص این تفاوت را آشکار می‌کند. مرزی ابزاری را در نظر بگیرید که در آن یک agent فراخوانی transfer_funds را پیشنهاد می‌دهد. یک مدل تصمیم ممکن است به آن ابزار مسیریابی کند چون آموخته است که وضعیت‌های مشابه اغلب مقدم بر تکمیل موفق وظیفه هستند. یک موتور سیاست این فراخوانی را در برابر قواعدی مانند amount <= approved_limit، recipient in allowlist و requires_human_approval برای مجموعه‌ای از کلاس‌های اقدام ارزیابی می‌کند. router از میان اقدام‌های از قبل مجاز انتخاب می‌کند؛ موتور سیاست تصمیم می‌گیرد که آیا اقدام انتخاب‌شده اصلاً مجاز است یا نه. router هرگز مجموعه مجاز را گسترده نمی‌کند.
یک تفکیک عملی
تفکیکی که زیر بار دوام می‌آورد کوچک و صریح است.
- مدل‌های تصمیم از میان اقدام‌های از قبل مجاز انتخاب می‌کنند. آن‌ها روی مجموعه‌ای کار می‌کنند که سیاست پذیرفته است، و نمی‌توانند چیزی به آن بیفزایند.
- سیاست پس از مسیریابی و پیش از اجرا، در مرز ابزار، ارزیابی می‌شود. این جای‌گذاری یعنی router می‌تواند بدون تغییر آنچه سیستم مجاز به انجام آن است جابه‌جا شود.
- هر گام مسیریابی‌شده شناسه قاعده‌ای را که آن را مجاز دانسته در رد حمل می‌کند. سپس رد هم تصمیم مسیریابی و هم تصمیم مجوزدهی را در بر می‌گیرد، و این دو در هنگام بازبینی قابل تفکیک هستند.
- جابه‌جایی مدل یک اجرای eval در برابر پیکره سیاست را برمی‌انگیزد، نه فقط یک بررسی دقت. این eval می‌پرسد که آیا اقدام‌های ترجیحی route
این تفکیک هزینه دارد. یک فراخوانی سرویس روی مسیر بحرانی اضافه می‌کند، و تیم‌ها را وادار می‌کند یک شِمای قاعده و یک فرایند بازبینی نگه دارند. معامله صادقانه تأخیر و سرباز عملیاتی در برابر قابلیت حسابرسی و رفتار کران‌دار است. برای سیستم‌هایی که فقط میان ابزارهای فقط‌خواندنی مسیریابی می‌کنند، ممکن است این سرباز توجیه‌پذیر نباشد. برای سیستم‌هایی که به پول، داده، یا اثرات جانبی بیرونی دست می‌زنند، سرباز بهای توانایی توضیح یک اقدام پس از وقوع است.
یک معامله دوم در جهت مخالف هم وجود دارد. یک موتور سیاست که بیش از حد درشت باشد مسیرهای مشروع را مسدود می‌کند، و تیم‌ها دور آن مسیریابی می‌کنند. چاره ضعیف کردن موتور نیست، بلکه قابل بازبینی و نسخه‌بندی‌شده کردن مجموعه قواعد است، تا گسترده کردن آن یک تغییر عامدانه و ثبت‌شده باشد نه یک تغییر ضمنی.
حالت شکستی که باید ابزارگذاری شود
حالت شکستی که اهمیت دارد واگرایی میان اقدام ترجیحی router و مجموعه مجاز سیاست است. در یک سیستم سالم، ترجیحات router تقریباً همیشه درون مجموعه مجاز قرار دارند، و ردهای سیاست نادر و قابل توضیح هستند. نرخ واگرایی روبه‌افزایش نشانه آن است که مدل دور قواعد را یاد گرفته است: اقدام‌هایی پیشنهاد می‌دهد که سیاست مدام رد می‌کند، یا اقدام‌هایی پیشنهاد می‌دهد که سیاست فقط به این دلیل مجاز می‌داند که قواعد عقب مانده‌اند.
ابزارگذاری برای این کار سرراست است. برای هر گام مسیریابی‌شده، اقدام ترجیحی router، حکم سیاست و شناسه قاعده را ثبت کنید. سپس نرخی را که در آن اقدام ترجیحی بیرون از مجموعه مجاز می‌افتد، و نرخی را که در آن سیاست اقدامی را می‌پذیرد که router ترجیح نداده، ردیابی کنید. افزایش نرخ اول نشان می‌دهد که مدل به سمت رفتار غیرمجاز می‌رود. افزایش نرخ دوم نشان می‌دهد که مجموعه سیاست گسترده‌تر از توزیع آموخته‌شده router است، که مسئله متفاوتی است اما به همان اندازه ارزش دیدن دارد.
هیچ‌یک از این دو نرخ جایگزین دیگری نیست. با هم تصویری می‌دهند که نه دقت یک طبقه‌بند و نه فهرست قواعد یک موتور سیاست به‌تنهایی فراهم نمی‌کند. همان تصویر چیزی است که بازبینی یک رخداد به آن نیاز دارد، و چیزی است که یک طبقه‌بند سریع نمی‌تواند تولید کند.
نتیجه‌گیری
مدل‌های تصمیم کوچک یک بودجه تأخیر هستند. آن‌ها سرعت روی مسیر بحرانی را می‌خرند، و در این کار خوب هستند. آن‌ها یک لایه حاکمیت نیستند، و یکی گرفتن آن‌ها با چنین لایه‌ای دو سطح کنترل را در یک مصنوع واحد با هیچ آهنگ بازبینی و هیچ انتسابی فرو می‌ریزد. این تفکیک رایگان نیست، اما تفاوت میان سیستمی است که می‌توان توضیحش داد و سیستمی که فقط می‌توان دوباره آموزشش داد.