وكلاء أسواق التنبؤات يحتاجون إلى سجل تسوية، لا إلى درجة ثقة

التنبؤ عبء عمل مختلف

تتعامل معظم تقييمات الوكلاء مع الاستجابة كأثر نهائي. يصل سؤال، يصدر النموذج إجابة، وتُحكم الجودة على النص نفسه. تكسر أسواق التنبؤات هذا الافتراض. لا يصف الوكيل اعتقادًا فحسب؛ بل يحوّل ذلك الاعتقاد إلى مركز سيُسوَّى مقابل حدث خارجي في تاريخ معلوم. يكتسب الناتج تبعية مؤرخة وقابلة للتحقق ومستقلة عن أي شيء يقوله الوكيل لاحقًا.

هذا يغيّر ما يجب تخزينه. درجة الثقة المرفقة بفقرة هي ادعاء عن الحالة الداخلية للنموذج. وهي غير قابلة للمطابقة مع نتيجة، لأنه لا يوجد سجل لما تشير إليه الدرجة، ولا المصدر الذي بُنيت عليه، ولا إصدار الـ prompt الذي أنتجها. عند تسوية الحدث، لا يوجد ما تُقارن به الدرجة سوى الدرجة نفسها. وحدة المساءلة في عبء العمل هذا هي الادعاء، وليس الاستجابة: قضية واحدة بقاعدة تسوية، ومجموعة مصادر، وطابع زمني. وكل ما عدا ذلك تعليق.

ما يحتويه سجل التسوية

سجل التسوية هو سجل إضافي فقط لكل ادعاء تصرّف الوكيل بناءً عليه. يجب أن يحمل كل قيد، كحد أدنى:

• نص الادعاء — القضية بصيغة يمكن تقييمها صحيحة أو خاطئة، لا تحوّطًا ولا نطاقًا.
• معايير التسوية — القاعدة الدقيقة التي تحسم الادعاء، بما في ذلك الحالات الحدية مثل التأجيل أو التسوية الجزئية أو الصياغة الملتبسة.
• مجموعة المصادر — المراجع المحددة التي استخدمها الوكيل، مثبّتة وقت الكتابة.
• الطابع الزمني — وقت تكوين الادعاء ووقت وضع المركز.
• إصدار النموذج والـ prompt — المعرّفات اللازمة لإعادة إنتاج مسار الاستدلال.
• التوزيع المعلن — احتمال الوكيل نفسه، منفصلًا عن سعر السوق الذي تصرّف بناءً عليه.

الخيار التصميمي الحاسم هو أن مصدر التسوية يُثبَّت عند كتابة الادعاء، لا يُختار عند تسوية الحدث. إذا استطاع الوكيل اختيار أوراكل الخاص به بعد الواقعة، يتدهور السجل إلى سرد. تثبيت المصدر وقت الكتابة يعني أن تشغيلًا لاحقًا لا يمكنه إعادة كتابة أساس مركز سابق؛ السجل غير قابل للتغيير وإضافي فقط، لذا تكون التصحيحات قيودًا جديدة لا تعديلات.

مخطط أدنى يجعل الآلية ملموسة:

{
  "claim_id": "...",
  "claim_text": "...",
  "resolution_criteria": "...",
  "resolution_source": "...",
  "source_set": ["..."],
  "written_at": "...",
  "model_version": "...",
  "prompt_version": "...",
  "stated_distribution": 0.0,
  "market_price_at_action": 0.0
}

السجل ليس سجلًا للـ prompts. إنه عقد: كل صف يحدد ما الذي يجعل الادعاء صحيحًا وأين سيُلاحظ ذلك. بدونه، يكون ناتج الوكيل غير قابل للتكذيب عمليًا، حتى عندما يُعبَّر عنه برقم.

المعايرة تتطلب وجود السجل أولًا

غالبًا ما تُقترح المعايرة كحل للوكلاء المفرطي الثقة. الحجة هي أنه إذا قُيّمت الاحتمالات المعلنة مقابل النتائج، يمكن ضبط النظام حتى تصبح الأرقام ذات معنى. تفترض تلك الحجة أن السجل موجود بالفعل. التقييم بدون مصدر لكل ادعاء يقيس المُقيِّم، لا النظام: يكافئ أي تعريف للادعاء يصادف أن المُقيِّم يستخدمه، ويُسقط بصمت الادعاءات التي لم تُكتب أبدًا بصيغة قابلة للتقييم.

تنتمي المعدلات الأساسية وفئات المرجع إلى السجل كمدخلات، لا كإعادة بناء. إذا استنتج الوكيل أن ادعاءً يشبه فئة أحداث بتردد تاريخي معلوم، فيجب تسجيل تلك الفئة وقت الكتابة. إعادة بنائها بعد التسوية تستدعي التحيّز بأثر رجعي: فئة المرجع التي تبدو أكثر ملاءمة للنتيجة يسهل إيجادها بعد معرفة النتيجة. تسجيلها مسبقًا يقيّد التحليل ويجعل الاستدلال قابلًا للتدقيق.

الحفاظ على التوزيع المعلن للوكيل منفصلًا عن سعر السوق الذي تصرّف بناءً عليه لا يقل أهمية. المركز ناتج مشترك للاعتقاد والسعر. إذا دُمجا في التخزين، يصبح من المستحيل معرفة ما إذا كانت نتيجة مربحة جاءت من تنبؤ أفضل أم من أخذ الجانب الآخر من عقد مسعّر خطأً. الحقول المنفصلة تحفظ هذا التمييز وتسمح بتقييم المكوّنين بشكل مستقل.

المقايضة حقيقية. يضيف السجل زمن استجابة وتخزينًا لكل إجراء، ويجبر الوكيل على الالتزام بمعايير التسوية قبل أن يرى كيف يتكشف الحدث. هذا الالتزام هو المقصد، لكنه يقلل المرونة فعلًا: الادعاءات الملتبسة حقًا وقت الكتابة يجب إما شحذها أو استبعادها، مما يخفض التغطية. البديل — ادعاءات مرنة تُقيَّم لاحقًا — ينتج مقاييس لا يمكن الوثوق بها. ا

بمجرد تسجيل الادعاءات فرديًا، تصبح عدة أنماط فشل مرئية كانت غير مرئية في نص محادثة.

انحراف المعايير. يمكن أن تتغير قاعدة التسوية بهدوء بين وضع المركز وتسويته. قد يقول الادعاء كما كُتب شيئًا؛ وقد يقول كما تُذكِّر شيئًا آخر. في نص المحادثة، يُدفن الانحراف في نافذة سياق طويلة. في السجل، تجعل المعايير والمصدر المثبّتان الفرق صريحًا، وأي إعادة تفسير لاحقة تكون قيدًا جديدًا لا تعديلًا.

الادعاءات المترابطة. يعرض سجل المحادثة الادعاءات كتسلسل أدوار مستقلة. عمليًا، يشترك كثير منها في مصدر واحد أو حدث أساسي واحد أو افتراض واحد. الوكيل الذي يضع عشرة مراكز مستمدة من مقال واحد لديه تعرّض واحد، لا عشرة. يكشف السجل ذلك لأن مجموعة المصادر مسجلة لكل ادعاء، ويصبح التداخل قابلًا للاستعلام. بدونه، يكون التنويع الظاهري أثرًا من التنسيق.

إعادات المحاولة الصامتة. تعيد أطر الوكلاء محاولة الاستدعاءات الفاشلة. إعادة محاولة غير منزوعة التكرار يمكن أن تنتج مركزين من نية واحدة، مما يضاعف التعرّض دون أي تغيير مقابل في الاعتقاد. سجل بمعرّفات ادعاء عديمة الأثر وتجزئة نية يجعل وضع المراكز المكرر قابلًا للكشف. الآلية مباشرة: جزّئ نص الادعاء والمعايير ومجموعة المصادر، وارفض كتابة ثانية بنفس التجزئة داخل نافذة محددة.

هذه ليست حالات حدية غريبة. إنها السلوك العادي لأي نظام يعمل مدة كافية، وهي بالضبط السلوكيات التي لا تستطيع درجة الثقة إظهارها.

ما يعنيه هذا لتصميم الوكلاء

النتيجة العملية هي أن البنية التحتية للتسوية يجب أن تُبنى قبل تحسين جودة التنبؤ. الوكيل الذي ينتج أرقامًا معايرة جيدًا لكن بلا سجل لكل ادعاء لا يمكن تقييمه أو تصحيحه أو الوثوق به بأحجام كبيرة. الوكيل بنموذج متواضع وسجل صارم يمكن تقييمه بصدق، ويمكن تتبع أخطائه إلى ادعاءات محددة بدلًا من انطباع عام عن الكفاءة.

تستمر التغطية الخارجية لأدوات أسواق التنبؤات في التوسع، وغالبًا ما تركز النقاشات المحيطة على دقة النموذج. السؤال الأكثر بقاءً هو ما الذي يُكتب عند وضع المركز. السجل غير مبهر: إنه مخطط ومسار كتابة ومجموعة قيود. وهو أيضًا الأثر الوحيد الذي يبقى سليمًا بعد التسوية.

تصف درجات الثقة حالة الوكيل لحظة التوليد. يصف سجل التسوية الالتزام الذي تحمّله الوكيل. لأي نظام يتصرف في سوق، الثاني هو ما يهم.