استدلال جانشینی
ارزیابی سیستم‌های مولد در حجم بالا زمانی که هر نمونه نیازمند توجه انسانی باشد، پرهزینه است. پاسخ رایج، جانشینی است: هدایت بخش عمده‌ای از خروجی‌ها از یک طبقه‌بند کوچک‌تر و ارزان‌تر و اختصاص بازبینی انسانی به باقی‌مانده. استدلال ساده است. اگر معیار ارزیابی محدود و فضای برچسب کوچک باشد، یک مدل فشرده می‌تواند قضاوت یک مدل بزرگ‌تر را با کسری از هزینه تقریب بزند.
این استدلال اغلب درست است. یک تصمیم دودویی مانند آیا این پاسخ حاوی ارجاعی است که به منبعی واقعی اشاره می‌کند یک وظیفه محدود است. یک مدل کوچک با یک prompt دقیق می‌تواند آن را به‌اندازه کافی برای گزارش‌دهی تجمعی به‌طور قابل‌اعتماد انجام دهد. صرفه‌جویی واقعی است، اما تنها تحت یک شرط: خطای داور باید اندازه‌گیری شود، نه فرض. خط لوله‌ای که نمره‌ای را گزارش می‌دهد بدون گزارش دقت ابزاری که آن را تولید می‌کند، شواهد گزارش نمی‌دهد. بلکه عددی را گزارش می‌دهد که اتفاقاً قابل محاسبه است.
حالت شکست ظریف است زیرا داور به‌ندرت با صدای بلند شکست می‌خورد. در جهت باورپذیری سطحی شکست می‌خورد. خروجی روان، خوش‌ساختار و با اطمینان بیان‌شده بیشتر احتمال دارد که درست ارزیابی شود تا خروجی مختصری که واقعاً درست است. این یک باگ در هیچ مدل خاصی نیست؛ بلکه خاصیتی از آموزش بر داده‌های ترجیح انسانی است، جایی که روانی با تأیید همبستگی دارد.
داور واقعاً چه چیزی را اندازه می‌گیرد
پیش از کالیبره کردن یک داور، کمک‌کننده است که صریح باشیم درباره اینکه آن داور جانشین چه چیزی است. در بیشتر خطوط لوله، داور کیفیت را به‌طور انتزاعی اندازه نمی‌گیرد. بلکه توافق با یک معیار ارزیابی را اندازه می‌گیرد، و معیار ارزیابی یک فشرده‌سازی اتلافی از آن چیزی است که تیم واقعاً به آن اهمیت می‌دهد. دو حالت شکست در پی می‌آید.
نخست، معیار ارزیابی ممکن است به روش‌هایی کم‌مشخص باشد که داور خودسرانه آن‌ها را حل‌وفصل کند. اگر معیار ارزیابی بگوید پاسخ باید در زمینه ارائه‌شده مستند باشد، داور باید تصمیم بگیرد که چه چیزی مستندسازی محسوب می‌شود: یک بازنویسی، یک نقل‌قول مستقیم، یک نشانگر ارجاع، یا ادعایی که صرفاً با زمینه تناقض ندارد. داوران مختلف این را متفاوت حل می‌کنند، و همان داور ممکن است آن را در اجراهای مختلف متفاوت حل کند.
دوم، داور ممکن است همبسته‌ای از هدف را اندازه بگیرد. طول، قالب‌بندی، زبان احتیاطی و وجود مراحل شمارش‌شده همگی با تأیید انسانی در بسیاری از مجموعه‌داده‌ها همبستگی دارند. داوری که این همبسته‌ها را آموخته باشد، یک پاسخ غلط خوش‌قالب را بالاتر از یک پاسخ درست که ساده نوشته شده نمره می‌دهد. این مسئله اندازه‌گیری مرکزی است، و به همین دلیل نمونه‌های خصمانه بیش از نمونه‌های حالت میانگین اهمیت دارند.
روش کالیبراسیون
روش عملی غیرجذاب است. یک برش برچسب‌خورده انسانی از مجموعه ارزیابی را کنار بگذارید، که بر ابعاد معیار ارزیابی لایه‌بندی شده باشد، و توافق داور را به‌ازای هر بُعد گزارش دهید نه به‌صورت یک تجمیع واحد. توافق تجمعی موردی را پنهان می‌کند که داور در مستندسازی واقعی عالی است و در لحن تقریباً تصادفی.
گزارش‌دهی به‌ازای هر بُعد فایده دومی دارد: نقاط کور داور را برای افرادی که نمره‌ها را مصرف می‌کنند خوانا می‌کند. اگر داور در ۹۰ درصد ادعاهای واقعی با انسان‌ها توافق داشته باشد اما در ۶۰ درصد قضاوت‌های کامل‌بودن، خوانندگان پایین‌دستی می‌دانند به کدام اعداد اعتماد کنند.
دریفت هنگام تغییر مولد
داوری که در برابر یک مولد کالیبره شده، به‌طور خودکار در برابر مولد بعدی کالیبره نیست. وقتی مدل مولد به‌روزرسانی می‌شود، توزیع خروجی‌هایش جابه‌جا می‌شود: عبارت‌پردازی متفاوت، رفتار امتناع متفاوت، حالت‌های شکست متفاوت. داوری که فصل گذشته تنظیم شده ممکن است اکنون بدکالیبره باشد، و بدکالیبراسیون خود را اعلام نخواهد کرد. نمره‌ها همچنان ظاهر می‌شوند، و همچنان معقول به نظر خواهند رسید.
سازوکار محافظت در برابر این، یک مجموعه کالیبراسیون ثابت است که هر بار مولد تغییر می‌کند دوباره نمره‌دهی می‌شود. مجموعه کالیبراسیون نباید بازتولید شود؛ باید منجمد شود، تا تغییرات در توافق داور بازتاب تغییرات در داور یا مولد باشد، نه تغییرات در آزمون. نمره‌دهی مجدد به یک مجموعه منجمد ارزان است. نادیده گرفتن آن روشی است که یک خط لوله بی‌سروصدا اعتبار اندازه‌گیری خود را از دست می‌دهد.
نمونه‌های خصمانه
مفیدترین نمونه‌های کالیبراسیون آن‌هایی هستند که روانی سطحی و درستی از هم واگرا می‌شوند. آن‌ها را عامدانه بسازید:
- یک پاسخ روان و خوش‌ساختار که از نظر واقعی غلط است.
- یک پاسخ مختصر و بدقالب که درست است.
- یک پاسخ که درست است اما با یک پیشین باورپذیر تناقض دارد.
- یک پاسخ که به منبعی ارجاع می‌دهد که وجود ندارد.
- یک پاسخ که در نتیجه‌گیری درست است اما در استدلالش غلط.
داوری که اولی را بالاتر از دومی نمره می‌دهد، سبک را آموخته، نه درستی را. این دلیلی برای دور انداختن داور نیست؛ دلیلی برای گزارش دقت آن دقیقاً روی همین برش است. داوری با ضعف‌های شناخته‌شده یک ابزار قابل استفاده است. داوری با ضعف‌های ناشناخته منبع اعتماد کاذب است.
نگرانی خصمانه دیگری نیز وجود دارد. وقتی مولد و داور نسب آموزشی مشترکی دارند، ممکن است سوگیری‌های سیستماتیک مشترک داشته باشند. داوری که از همان خانواده مولد کشیده شده باشد، بیشتر احتمال دارد خروجی‌های مولد را قابل‌قبول بیابد، نه به این دلیل که درست هستند بلکه به این دلیل که آشنا هستند. در جایی که ممکن است، داور باید از خانواده‌ای متفاوت از مولد ک
معاوضه صادقانه
هیچ‌کدام از این‌ها علیه خطوط لوله مدل-به‌عنوان-داور استدلال نمی‌کند. جایگزین، یعنی بازبینی انسانی هر نمونه، به حجم‌هایی که ارزیابی مدرن می‌طلبد مقیاس نمی‌پذیرد، و استدلال جانشینی وقتی معیار ارزیابی محدود است درست است. معاوضه بین پوشش و اعتبار است. یک داور ارزان پوشش می‌خرد: نمونه‌های بیشتر، اجراهای بیشتر، اندازه‌گیری مکررتر. اعتبار را هزینه می‌کند، و هزینه تنها در صورتی قابل مشاهده است که اندازه‌گیری شود.
معاوضه در سراسر ابعاد معیار ارزیابی یکنواخت نیست. برای ابعاد محدود و قابل‌راستی‌آزمایی مانند انطباق با قالب یا حل ارجاع، یک داور کوچک می‌تواند نزدیک به یک جایگزین مستقیم باشد. برای ابعادی که نیازمند قضاوت درباره کیفیت استدلال یا کامل‌بودن هستند، جانشینی ضعیف‌تر است و برش انسانی باید بزرگ‌تر باشد. برخورد با داور به‌عنوان قابل‌اعتماد یکنواخت در همه ابعاد، رایج‌ترین روشی است که معاوضه اشتباه قیمت‌گذاری می‌شود.
معاوضه مرتبطی به تأخیر و هزینه خود کالیبراسیون مربوط می‌شود. نمره‌دهی مجدد به یک مجموعه کالیبراسیون منجمد در هر تغییر مولد یک گام به فرایند انتشار اضافه می‌کند. این گام نسبت به هزینه عرضه معیاری که دیگر آنچه ادعا می‌کند را اندازه نمی‌گیرد ارزان است، اما یک گام است، و تحت فشار زمان‌بندی نادیده گرفته خواهد شد مگر اینکه بخشی از تعریف انجام‌شده باشد.
قاعده گزارش‌دهی
دقت داور را در کنار معیاری که تولید می‌کند منتشر کنید. نمره‌ای بدون دقت ابزارش شواهد نیست. در عمل این یعنی هر عدد ارزیابی گزارش‌شده سه چیز را حمل می‌کند: معیار، توافق داور با انسان‌ها در بُعد مربوطه، و تاریخ آخرین کالیبراسیون.
این قاعده ناخوشایند است زیرا گزارش‌های ارزیابی را طولانی‌تر و کم‌نقل‌قول‌تر می‌کند. یک عدد واحد آسان‌تر از عددی با یک توصیف‌گر اطمینان پیوست‌شده قابل گردش است. اما جایگزین معیاری است که بی‌سروصدا دریفت می‌کند و مدت‌ها پس از اینکه دیگر معنایی ندارد مورد اعتماد است.
این قاعده همچنین دامنه ارزیابی را تغییر می‌دهد. اگر یک بُعد نتواند با هزینه معقول در برابر برچسب‌های انسانی کالیبره شود، این خودش اطلاعات است. ممکن است یعنی آن بُعد هنوز در سطح دانه‌بندی مورد نیاز قابل اندازه‌گیری نیست، و پاسخ صادقانه این است که این را بگوییم نه اینکه نمره‌ای بدون قید گزارش کنیم.
ابزارسازی، نه تزئین
داور یک ابزار اندازه‌گیری است. ابزارها به کالیبراسیون، پایش دریفت و آزمون خصمانه نیاز دارند، و نیاز دارند که خطایشان در کنار خروجی‌شان گزارش شود. استدلال جانشینی برای داوران کوچک درست است، اما استدلالی درباره هزینه است، نه درباره اعتبار. اعتبار باید جداگانه کسب شود، به‌ازای هر بُعد، به‌ازای هر نسخه مولد، و هر بار که هر یک از این دو تغییر می‌کند دوباره کسب شود.
تیم‌هایی که با داور به‌عنوان زیرساخت برخورد می‌کنند نه به‌عنوان میان‌بر، فایده پوشش را بدون اعتماد کاذب به دست می‌آورند. تیم‌هایی که با آن به‌عنوان میان‌بر برخورد می‌کنند، اعدادی به دست می‌آورند که شبیه شواهد به نظر می‌رسند و نیستند. تفاوت در مدل نیست. تفاوت در این است که آیا کسی ابزار را اندازه گرفته است.