المقياس الذي ينهار على نطاق الأسطول
وكيل واحد يبلّغ عن إيجابية كاذبة يكلّف المراجع بضع دقائق. عشرة آلاف وكيل يبلّغ كلٌّ منها عن إيجابية كاذبة يكلّف المراجع أسبوع عمل، ويستمر الطابور في النمو أثناء المراجعة. الحساب ليس دقيقًا، لكنه يُتجاهل routinely: تُقدَّم الدقة كخاصية للنموذج، بينما تكلفة الإيجابية الكاذبة هي خاصية لخط المعالجة الذي يستهلكها.
هذا هو التشابه البنيوي بين برنامجين غير مرتبطين ظاهريًا. عمل OpenAI الأمني في إيجاد الثغرات ورقعها، وبرنامجها للوكلاء على البيانات البيولوجية، كلاهما يضع أسطولًا من الوكلاء أمام مجموعة نصوص ويطلب من البشر الحكم على ما يعود. عنق الزجاجة في الحالتين ليس استدعاء النموذج على مجموعة محجوزة. بل هو المعدل الذي يستطيع به عدد صغير من المراجعين المؤهلين تأكيد المرشحين أو رفضهم. تقرير الثغرة يحتاج شخصًا يستطيع إعادة إنتاجها؛ والدليل البيولوجي يحتاج شخصًا يستطيع الحكم على ما إذا كان يستحق تجربة مخبرية. لا يتوسّع أي من الطابورين مع ساعات GPU.
لذا يتغيّر السؤال المفيد. بدلًا من السؤال عن مدى دقة وكيل، اسأل عن عدد النتائج المؤكدة التي ينتجها أسطول لكل وحدة من انتباه المراجع، ضمن ميزانية إيجابيات كاذبة معلنة. هذه كمية مختلفة، تُقاس على محور مختلف، ومعظم معايير تقييم الوكلاء لا تبلّغ عنها. إنها تبلّغ عن معدلات النجاح على مهام منسّقة حيث يكون كل ناتج معروفًا مسبقًا أنه قابل للتحقق، وهذا يزيل بالضبط تكلفة الفرز التي تهيمن على عمليات نشر الأساطيل الحقيقية.
يغيّر هذا التحول أيضًا ما هي "النتيجة". على نطاق الأسطول، النتائج ليست سحوبات مستقلة. إنها تتكتّل.
إزالة التكرار هي المنتج
شغّل ألف وكيل على نفس قاعدة الشيفرة أو نفس مجموعة تفاعلات البروتين وسوف يتقاربون. كثيرون سيكشفون نفس فحص الحدود المفقود، نفس الزخرفة الرابطة المشبوهة، نفس فرع المحلل المشوّه. يبدو الناتج الخام كجسد كبير من الاكتشاف؛ أما الناتج المتميّز فغالبًا جزء صغير منه.
هذا يجعل التجميع وإزالة التكرار المكوّن الحامل، لا تحسينًا لاحقًا للمعالجة. على خط المعالجة أن يقرر متى تكون نتيجتان مرشحتان هي النتيجة نفسها، وعليه أن يفعل ذلك باتساق كافٍ ليثق المراجع في التجميع. نمطا فشل يهمّان. الدمج المفرط والنتائج المتميّزة حقًا تختفي في عنقود واحد، وهذا خسارة استدعاء صامتة. والتقسيم المفرط والمراجع يرى المشكلة نفسها إحدى عشرة مرة تحت أحد عشر وصفًا، وهذه مشكلة طابور الفرز متنكّرة.
يصبح التتبع على نمط Concordance، أي ممارسة تسجيل أين اختلفت مجموعة من الوكلاء على مدخل متطابق أو شبه متطابق، مفيدًا هنا بطريقة يسهل تفويتها. في تصحيح أخطاء وكيل واحد هو فضول. في أسطول هو إشارة فرز: عنقود تتقارب فيه وكلاء كثيرة باستقلالية هو مرشح قوي، وعنقود تنقسم فيه الوكلاء على حدود متسقة يخبر المراجع أين يكمن قرار الحكم فعليًا. التتبع ليس دليلًا على صحة النتيجة، لكنه احتمال مسبق رخيص على أين سيكون انتباه المراجع أفضل استثمارًا.
المقايضة الصادقة هي أن إزالة التكرار نفسها قرار على شكل نموذج بمعدل خطأ خاص به، وعادةً ما يُقيَّم بصرامة أقل بكثير من الوكلاء الذين يخدمهم. طبقة إزالة تكرار مضبوطة لتقليل طول الطابور ستدمج بشراسة وتخفي النتائج؛ وأخرى مضبوطة للاستدعاء ستعيد طابورًا لا يمكن تمييزه عن عدم إزالة التكرار إطلاقًا. لذلك يجب أن يعرض خط المعالجة قرار التجميع على المراجع بدلًا من حسمه بشكل غير مرئي، ويجب تقييمه على ما إذا كانت القائمة المرتّبة تضع النتائج المؤكدة قرب الأعلى، لا على ما إذا كانت العناقيد تبدو مرتبة.
ما الذي يجب أن يبلّغ عنه معيار تقييم الأسطول
المعيار الذي نريده لأسطول استكشاف ليس صفًا في لوحة صدارة. إنه منحنى، ويحتاج ثلاثة أشياء مرتبطة به.
المردود مقابل ساعات المراجع. ارسم النتائج المؤكدة على المحور العمودي وساعات المراجع المستهلكة على المحور الأفقي، واذكر معدل الإيجابيات الكاذبة عند كل نقطة تشغيل بدلًا من رقم متوسط واحد. المنحنى يهم لأن النتيجة الحدية تصبح أغلى كلما عولج الطابور: الساعة الأولى من المراجعة تلتقط العناقيد الواضحة، والساعة العاشرة تطحن الذيل الغامض. رقم دقة واحد يخفي هذا الشكل تمامًا.
التكلفة لكل نتيجة مؤكدة، بما في ذلك الفرز. تكلفة الحوسبة لكل تشغيل وكيل سهلة القياس ومضللة بحد ذاتها. الرقم الذي يحكم ما إذا كان الأسطول يستحق التشغيل يشمل تمريرة إزالة التكرار، وتمريرة الترتيب، ووقت المراجع، لأن إعدادًا ينصّف الحوسبة ويضاعف حمل المراجع هو تراجع. أبلِغ عن السلسلة كاملة أو لا تبلّغ عن شيء.
قابلية إعادة الإنتاج على نفس المجموعة. أعد تشغيل نفس إعداد الأسطول على نفس المجموعة وأبلِغ عن مقدار ما يتكرر من المجموعة المؤكدة. الأساطيل عشوائية بطرق تتراكم: أخذ العينات، وترتيب استدعاء الأدوات، وعتبات التجميع كلها تتفاعل. إعداد لا تتكرر نتائجه المؤكدة ليس أداة استكشاف، بل مولد أرقام عشوائية بواجهة جيدة.
آلية ملموسة لتحقيق هذا القياس: جهّز خط المعالجة بحيث يحمل كل مرشح سجل مصدر من الوكيل الذي أنتجه، عبر العنقود الذي استقر فيه، إلى قرار المراجع الذي حسمه. هذا السجل هو ما يتيح للفريق حساب منحنى المردود بعد الحدث بدلًا من إعادة بنائه من الذاكرة، وهو ما يجعل إعادة التشغيل قابلة للمقارنة بالأصل.
لا شيء من هذا مجاني. تضيف أدوات القياس زمن استجابة وتخزينًا، وتتطلب القائمة المرتّبة نموذج ترتيب يحتاج هو نفسه إلى تقييم، ويحتاج محور ساعة المراجع مؤسسة صادقة بما يكفي لتسجيل وقت مراجعتها. البديل هو أسطول ينمو حجم ناتجه أسرع من نتائجه المؤكدة، وهو نمط الفشل الذي لا تستطيع المعايير الحالية رؤيته.
خصّص انتباه المراجع أولًا
قاعدة التصميم التي تتبع ذلك غير مريحة للفرق التي تفكر بالحوسبة: حدّد ميزانية المراجع أولًا، ثم اضبط حجم الأسطول عليها. إذا كانت سعة الفرز عددًا ثابتًا من الساعات أسبوعيًا، فإن هذا الرقم يحدد عدد المرشحين الذين يستطيع خط المعالجة تحمّل إخراجهم، ويتبع حجم الأسطول من المردود المتوقع لكل مرشح. توسيع الوكلاء بما يتجاوز سعة الفرز لا ينتج اكتشافًا أكثر. إنه ينتج طابورًا أطول، وفريق مراجعة محبَطًا، وتراكمًا متزايدًا من المرشحين غير المحسومين لا يستطيع أحد تمييزهم عن الضوضاء.
هذا يقلب محادثة التوسيع المعتادة. الوكلاء الأكثر مفيدون فقط إذا حوّلت طبقتي إزالة التكرار والترتيب ناتجهم إلى قائمة أقصر وأفضل ترتيبًا. حيث يكون هذا التحويل ضعيفًا، يضيف الوكلاء الإضافيون تكلفة وعمق طابور دون نتائج مؤكدة تُذكر. المؤسسات التي تفعل هذا بشكل صحيح تميل إلى معاملة خط الفرز كالمنتج والأسطول كمورّد له، وتقيّم المورّد على المردود لكل ساعة مراجع بدلًا من عدد المرشحين الذين يستطيع توليدهم.
بالنسبة لبرامج مثل اكتشاف الثغرات وتوليد الأدلة البيولوجية، حيث تكون خطوة الحكم مكلفة وعرض المراجعين المؤهلين ثابتًا، فإن هذا التأطير ليس تحسينًا. إنه الفرق بين أسطول يجد أشياء وأسطول ينتج عملًا.