معیاری که در مقیاس ناوگان می‌شکند
یک عامل واحد که یک مثبت کاذب گزارش می‌دهد، چند دقیقه از وقت یک بازبین را می‌گیرد. ده هزار عامل که هرکدام یک مثبت کاذب گزارش می‌دهند، یک هفته کاری از بازبین را می‌گیرند، و صف در حین بازبینی مدام رشد می‌کند. حساب‌وکتاب پیچیده نیست، اما به‌طور معمول نادیده گرفته می‌شود: دقت به‌عنوان ویژگی مدل گزارش می‌شود، در حالی که هزینه یک مثبت کاذب ویژگی خط لوله‌ای است که آن را مصرف می‌کند.
این همان شباهت ساختاری میان دو برنامه در ظاهر بی‌ربط است. کار امنیتی OpenAI روی یافتن و وصله‌کردن آسیب‌پذیری‌ها، و برنامه عامل داده‌های زیستی آن، هر دو یک ناوگان عامل را مقابل یک مجموعه داده قرار می‌دهند و از انسان می‌خواهند درباره آنچه برمی‌گردد داوری کند. گلوگاه در هر دو حالت، recall مدل روی یک مجموعه نگه‌داشته‌شده نیست. نرخی است که تعداد کمی بازبین واجد صلاحیت می‌توانند نامزدها را تأیید یا رد کنند. یک گزارش آسیب‌پذیری به کسی نیاز دارد که بتواند آن را بازتولید کند؛ یک سرنخ زیستی به کسی نیاز دارد که بتواند قضاوت کند آیا ارزش یک اجرای آزمایشگاهی را دارد یا نه. هیچ‌کدام از این صف‌ها با ساعت GPU مقیاس نمی‌گیرند.
پس پرسش مفید تغییر می‌کند. به‌جای پرسیدن اینکه یک عامل چقدر دقیق است، بپرسید یک ناوگان در ازای هر واحد توجه بازبین، تحت یک بودجه مثبت کاذب اعلام‌شده، چند یافته تأییدشده تولید می‌کند. این کمیت متفاوتی است، روی محور متفاوتی اندازه‌گیری می‌شود، و بیشتر بنچمارک‌های عامل آن را گزارش نمی‌کنند. آن‌ها نرخ قبولی روی وظایف منتخب را گزارش می‌کنند که در آن‌ها از پیش معلوم است هر خروجی قابل بررسی است، و این دقیقاً همان هزینه تریاژ را حذف می‌کند که بر استقرارهای واقعی ناوگان غالب است.
این تغییر همچنین تعریف «یافته» را عوض می‌کند. در مقیاس ناوگان، یافته‌ها نمونه‌های مستقل نیستند. خوشه‌بندی می‌شوند.
حذف تکراری‌ها خودِ محصول است
هزار عامل را روی همان کدبیس یا همان مجموعه داده برهم‌کنش پروتئینی اجرا کنید و همگرا خواهند شد. بسیاری همان بررسی مرزهای گم‌شده، همان موتیف اتصال مشکوک، همان شاخه پارسر بدشکل را بیرون می‌کشند. خروجی خام شبیه بدنه بزرگی از کشف به نظر می‌رسد؛ خروجی متمایز اغلب کسر کوچکی از آن است.
این باعث می‌شود خوشه‌بندی و حذف تکراری‌ها مؤلفه باربر باشد، نه یک تجمل پس‌پردازشی. خط لوله باید تصمیم بگیرد چه زمانی دو یافته نامزد همان یافته هستند، و باید این کار را به‌قدری سازگار انجام دهد که بازبین بتواند به گروه‌بندی اعتماد کند. دو حالت شکست اهمیت دارند. ادغام بیش‌ازحد و یافته‌های واقعاً متمایز در یک خوشه ناپدید می‌شوند، که یک کاهش recall خاموش است. تفکیک بیش‌ازحد و بازبین همان مسئله را یازده بار زیر یازده توصیف می‌بیند، که همان مسئله صف تریاژ است با لباس مبدل.
ردیابی به سبک Concordance، یعنی ثبت اینکه مجموعه‌ای از عامل‌ها روی ورودی یکسان یا تقریباً یکسان کجا اختلاف داشتند، اینجا به شکلی مفید می‌شود که به‌راحتی از دست می‌رود. در اشکال‌زدایی تک‌عاملی یک کنجکاوی است. در یک ناوگان یک سیگنال تریاژ است: خوشه‌ای که بسیاری از عامل‌ها مستقلاً روی آن همگرا شده‌اند نامزد قوی است، و خوشه‌ای که عامل‌ها در آن روی یک مرز سازگار تقسیم شده‌اند به بازبین می‌گوید قضاوت واقعی کجا قرار دارد. این ردیابی شاهد درستی یک یافته نیست، اما یک پیشین ارزان درباره اینکه توجه بازبین کجا بهتر خرج می‌شود هست.
معامله صادقانه این است که حذف تکراری‌ها خودش یک تصمیم مدل‌گونه با نرخ خطای خاص خود است، و معمولاً بسیار کم‌سخت‌گیرانه‌تر از عامل‌هایی که به آن‌ها خدمت می‌کند ارزیابی می‌شود. لایه حذف تکراری که برای کاهش طول صف تنظیم شده باشد تهاجمی ادغام می‌کند و یافته‌ها را پنهان می‌کند؛ لایه‌ای که برای recall تنظیم شده باشد صفی برمی‌گرداند که از نبود حذف تکراری قابل تشخیص نیست. بنابراین خط لوله باید تصمیم خوشه‌بندی را به بازبین نشان دهد نه اینکه آن را نامرئی حل کند، و باید بر این ارزیابی شود که آیا فهرست رتبه‌بندی‌شده یافته‌های تأییدشده را نزدیک بالا قرار می‌دهد، نه بر اینکه خوشه‌ها مرتب به نظر می‌رسند.
یک بنچمارک ناوگان چه چیزی باید گزارش کند
بنچمارکی که برای یک ناوگان کشف می‌خواهیم یک ردیف جدول رده‌بندی نیست. یک منحنی است، و سه چیز باید به آن ضمیمه شود.
بازده در برابر ساعت‌های بازبین. یافته‌های تأییدشده را روی محور عمودی و ساعت‌های بازبین صرف‌شده را روی محور افقی رسم کنید، و نرخ مثبت کاذب را در هر نقطه کارکرد به‌جای یک عدد میانگین‌شده واحد اعلام کنید. منحنی اهمیت دارد چون یافته حاشیه‌ای هرچه صف پیش می‌رود گران‌تر می‌شود: ساعت اول بازبینی خوشه‌های واضح را می‌گیرد، ساعت دهم دم مبهم را می‌ساید. یک عدد دقت واحد این شکل را کاملاً پنهان می‌کند.
هزینه به‌ازای هر یافته تأییدشده، شامل تریاژ. هزینه محاسباتی هر اجرای عامل آسان اندازه‌گیری می‌شود و به‌تنهایی گمراه‌کننده است. عددی که تعیین می‌کند آیا اجرای یک ناوگان ارزش دارد شامل پاس حذف تکراری، پاس رتبه‌بندی، و زمان بازبین است، چون پیکربندی‌ای که محاسبات را نصف و بار بازبین را دو برابر می‌کند یک پسرفت است. کل زنجیره را گزارش کنید یا هیچ چیز را گزارش نکنید.
تکرارپذیری روی همان مجموعه داده. همان پیکربندی ناوگان را روی همان مجموعه داده دوباره اجرا کنید و گزارش دهید چه مقدار از مجموعه تأییدشده تکرار می‌شود. ناوگان‌ها به شکل‌هایی تصادفی‌اند که انباشته می‌شوند: نمونه‌گیری، ترتیب فراخوانی ابزار، و آستانه‌های خوشه‌بندی همه برهم‌کنش دارند. پیکربندی‌ای که یافته‌های تأییدشده‌اش تکرار نمی‌شوند ابزار کشف نیست، یک مولد عدد تصادفی با رابط کاربری خوب است.
یک سازوکار مشخص برای اینکه این اندازه‌گیری انجام شود: خط لوله را ابزارگذاری کنید تا هر نامزد یک رکورد منشأ حمل کند، از عاملی که آن را تولید کرده، از خوشه‌ای که در آن افتاده، تا تصمیم بازبینی که آن را حل کرده. این رکورد همان چیزی است که به تیم اجازه می‌دهد منحنی بازده را پس از واقع محاسبه کند نه اینکه آن را از حافظه بازسازی کند، و همان چیزی است که یک اجرای مجدد را با اجرای اصلی قابل مقایسه می‌کند.
هیچ‌کدام از این‌ها رایگان نیست. ابزارگذاری تأخیر و ذخیره‌سازی اضافه می‌کند، فهرست رتبه‌بندی‌شده به یک مدل رتبه‌بندی نیاز دارد که خودش نیازمند ارزیابی است، و یک محور ساعت بازبین به سازمانی نیاز دارد که به‌قدر کافی صادق باشد تا زمان بازبینی خودش را ثبت کند. جایگزین، ناوگانی است که حجم خروجی‌اش سریع‌تر از یافته‌های تأییدشده‌اش رشد می‌کند، که همان حالت شکستی است که بنچمارک‌ها در حال حاضر قادر به دیدنش نیستند.
اول بودجه توجه بازبین را تعیین کنید
قاعده طراحی که از این نتیجه می‌شود برای تیم‌هایی که با محاسبات فکر می‌کنند ناخوشایند است: اول بودجه بازبین را تعیین کنید، سپس ناوگان را با آن اندازه کنید. اگر ظرفیت تریاژ یک عدد ثابت ساعت در هفته باشد، آن عدد تعیین می‌کند خط لوله توان انتشار چند نامزد را دارد، و اندازه ناوگان از بازده مورد انتظار به‌ازای هر نامزد پیروی می‌کند. بزرگ‌کردن عامل‌ها فراتر از ظرفیت تریاژ کشف بیشتری تولید نمی‌کند. صف طولانی‌تری، تیم بازبینی روحیه‌باخته، و انبوهه روبه‌رشدی از نامزدهای داوری‌نشده تولید می‌کند که هیچ‌کس نمی‌تواند آن‌ها را از نویز تشخیص دهد.
این گفت‌وگوی معمول درباره مقیاس‌پذیری را وارونه می‌کند. عامل‌های بیشتر فقط زمانی مفیدند که لایه‌های حذف تکراری و رتبه‌بندی خروجی آن‌ها را به فهرستی کوتاه‌تر و بهتر مرتب‌شده تبدیل کنند. جایی که این تبدیل ضعیف است، عامل‌های اضافی هزینه و عمق صف اضافه می‌کنند بدون هیچ یافته تأییدشده‌ای برای نشان دادن. سازمان‌هایی که این را درست انجام می‌دهند معمولاً خط لوله تریاژ را محصول و ناوگان را تأمین‌کننده آن می‌دانند، و تأمین‌کننده را بر بازده به‌ازای هر ساعت بازبین ارزیابی می‌کنند نه بر اینکه چند نامزد می‌تواند تولید کند.
برای برنامه‌هایی مثل کشف آسیب‌پذیری و تولید سرنخ زیستی، که در آن‌ها مرحله داوری گران است و عرضه بازبین‌های واجد صلاحیت ثابت است، این چارچوب یک اصلاح جزئی نیست. تفاوت میان ناوگانی است که چیزها را پیدا می‌کند و ناوگانی که کار تولید می‌کند.