پیش‌بینی یک بار کاری متفاوت است
بیشتر ارزیابی‌های ایجنت، پاسخ را به‌عنوان مصنوع نهایی در نظر می‌گیرند. سؤالی می‌رسد، مدل پاسخی تولید می‌کند و کیفیت بر اساس خود متن قضاوت می‌شود. بازارهای پیش‌بینی این فرض را می‌شکنند. ایجنت صرفاً یک باور را توصیف نمی‌کند؛ آن باور را به موقعیتی تبدیل می‌کند که در تاریخی مشخص در برابر یک رویداد بیرونی تسویه خواهد شد. خروجی، پیامدی می‌یابد که تاریخ‌دار، قابل‌بررسی و مستقل از هر چیزی است که ایجنت بعداً می‌گوید.
این تغییر می‌دهد که چه چیزی باید ذخیره شود. امتیاز اطمینان پیوست‌شده به یک پاراگراف، ادعایی درباره وضعیت درونی مدل است. با یک نتیجه قابل تطبیق نیست، چون هیچ سابقه‌ای وجود ندارد که آن امتیاز به چه چیزی اشاره داشت، بر کدام منبع شرطی شده بود، یا کدام نسخه از prompt آن را تولید کرد. وقتی رویداد تسویه می‌شود، چیزی برای مقایسه امتیاز با آن وجود ندارد جز خود امتیاز. واحد پاسخگویی در این بار کاری یک ادعاست، نه یک پاسخ: یک گزاره واحد با یک قاعده تسویه، یک مجموعه منبع و یک برچسب زمانی. هر چیز دیگری تفسیر است.
دفتر کل تسویه شامل چه چیزی است
دفتر کل تسویه یک سابقه فقط‌افزودنی از هر ادعایی است که ایجنت بر اساس آن عمل کرده است. هر ورودی باید حداقل شامل موارد زیر باشد:
- متن ادعا — گزاره به شکلی که بتوان آن را درست یا غلط ارزیابی کرد، نه یک تعبیر محتاطانه یا یک بازه.
- معیارهای تسویه — قاعده دقیقی که ادعا را تعیین می‌کند، شامل موارد لبه‌ای مانند تعویق، تسویه جزئی یا عبارت مبهم.
- مجموعه منبع — ارجاعات مشخصی که ایجنت استفاده کرده است، در زمان نوشتن تثبیت‌شده.
- برچسب زمانی — زمان شکل‌گیری ادعا و زمان گرفتن موقعیت.
- نسخه مدل و prompt — شناسه‌های لازم برای بازتولید مسیر استدلال.
- توزیع اعلام‌شده — احتمال خود ایجنت، جدا از قیمت بازاری که بر اساس آن عمل کرده است.
انتخاب طراحی حیاتی این است که منبع تسویه در زمان نوشتن ادعا تثبیت می‌شود، نه در زمان تسویه رویداد. اگر ایجنت بتواند اوراکل خود را بعد از واقعه انتخاب کند، دفتر کل به یک روایت تنزل می‌یابد. تثبیت منبع در زمان نوشتن یعنی اجرای بعدی نمی‌تواند مبنای موقعیت قبلی را بازنویسی کند؛ سابقه تغییرناپذیر و فقط‌افزودنی است، بنابراین اصلاحات ورودی‌های جدید هستند نه ویرایش.
یک طرح‌واره حداقلی مکانیزم را عینی می‌کند:
{
"claim_id": "...",
"claim_text": "...",
"resolution_criteria": "...",
"resolution_source": "...",
"source_set": ["..."],
"written_at": "...",
"model_version": "...",
"prompt_version": "...",
"stated_distribution": 0.0,
"market_price_at_action": 0.0
}
دفتر کل، لاگ promptها نیست. یک قرارداد است: هر ردیف بیان می‌کند چه چیزی ادعا را درست می‌کند و کجا مشاهده خواهد شد. بدون آن، خروجی ایجنت در عمل غیرقابل ابطال است، حتی وقتی به‌صورت یک عدد بیان شود.
کالیبراسیون مستلزم وجود دفتر کل است
کالیبراسیون اغلب به‌عنوان راه‌حل ایجنت‌های بیش‌ازحد مطمئن پیشنهاد می‌شود. استدلال این است که اگر احتمالات اعلام‌شده در برابر نتایج امتیازدهی شوند، سیستم می‌تواند تنظیم شود تا اعداد معنا پیدا کنند. آن استدلال فرض می‌کند دفتر کل از قبل وجود دارد. امتیازدهی بدون منشأ به‌ازای هر ادعا، امتیازدهنده را می‌سنجد، نه سیستم را: هر تعریفی از ادعا که امتیازدهنده اتفاقاً استفاده کند را پاداش می‌دهد و ادعاهایی را که هرگز به شکل قابل‌ارزیابی نوشته نشده‌اند، بی‌صدا حذف می‌کند.
نرخ‌های پایه و کلاس‌های مرجع باید به‌عنوان ورودی در دفتر کل ثبت شوند، نه به‌عنوان بازسازی. اگر ایجنت استدلال می‌کند که یک ادعا شبیه کلاسی از رویدادها با فراوانی تاریخی معلوم است، آن کلاس باید در زمان نوشتن ثبت شود. بازسازی آن پس از تسویه، سوگیری پس‌نگر را دعوت می‌کند: کلاس مرجعی که مطلوب‌ترین به نظر می‌رسد، پس از دانستن نتیجه به‌راحتی یافت می‌شود. ثبت آن از پیش، تحلیل را محدود می‌کند و استدلال را قابل حسابرسی می‌سازد.
جدا نگه‌داشتن توزیع اعلام‌شده ایجنت از قیمت بازاری که بر اساس آن عمل کرده، به‌همان اندازه مهم است. یک موقعیت محصول مشترک باور و قیمت است. اگر این دو در ذخیره‌سازی ادغام شوند، تشخیص اینکه یک نتیجه سودآور از پیش‌بینی بهتر آمده یا از گرفتن طرف مقابل یک قرارداد بدقیمت، غیرممکن می‌شود. فیلدهای جداگانه این تمایز را حفظ می‌کنند و امکان ارزیابی مستقل دو مؤلفه را فراهم می‌آورند.
مبادله واقعی است. دفتر کل به هر اقدام تأخیر و ذخیره‌سازی اضافه می‌کند و ایجنت را مجبور می‌کند پیش از دیدن چگونگی تحول رویداد، به معیارهای تسویه متعهد شود. این تعهد همان هدف است، اما انعطاف‌پذیری را کاهش می‌دهد: ادعاهایی که در زمان نوشتن واقعاً مبهم هستند باید یا تیزتر شوند یا حذف شوند، که پوشش را پایین می‌آورد. جایگزین — ادعاهای انعطاف‌پذیر که بعداً امتیازدهی می‌شوند — معیارهایی تولید می‌کند که قابل اعتماد نیستند. پوشش، بهای قا
وقتی ادعاها به‌صورت جداگانه ثبت شوند، چندین حالت شکست قابل مشاهده می‌شوند که در یک رونوشت چت نامرئی هستند.
رانش معیارها. یک قاعده تسویه می‌تواند بی‌صدا بین گرفتن موقعیت و تسویه تغییر کند. ادعا آن‌گونه که نوشته شده ممکن است چیزی بگوید؛ ادعا آن‌گونه که به یاد آمده ممکن است چیز دیگری بگوید. در یک رونوشت، رانش در یک پنجره زمینه طولانی مدفون می‌شود. در یک دفتر کل، معیارها و منبع تثبیت‌شده تفاوت را صریح می‌کنند و هر بازتفسیر بعدی یک ورودی جدید است نه یک ویرایش.
ادعاهای همبسته. یک لاگ چت ادعاها را به‌صورت دنباله‌ای از نوبت‌های مستقل ارائه می‌دهد. در عمل، بسیاری از آن‌ها یک منبع واحد، یک رویداد زیربنایی واحد یا یک فرض واحد را به اشتراک می‌گذارند. ایجنتی که ده موقعیت برگرفته از یک مقاله می‌گیرد، یک مواجهه دارد، نه ده تا. دفتر کل این را آشکار می‌کند چون مجموعه منبع به‌ازای هر ادعا ثبت می‌شود و همپوشانی قابل پرس‌وجو می‌شود. بدون آن، تنوع ظاهری مصنوع قالب‌بندی است.
تلاش‌های مجدد بی‌صدا. چارچوب‌های ایجنت فراخوانی‌های ناموفق را دوباره تلاش می‌کنند. تلاش مجددی که حذف تکراری نشده باشد می‌تواند دو موقعیت از یک قصد تولید کند و مواجهه را بدون هیچ تغییر متناظر در باور دو برابر کند. دفتر کل با شناسه‌های ادعای خودتوان و یک هش قصد، قرارگیری تکراری را قابل تشخیص می‌کند. مکانیزم سرراست است: متن ادعا، معیارها و مجموعه منبع را هش کنید و نوشتن دوم با همان هش را در یک پنجره تعریف‌شده رد کنید.
این‌ها موارد لبه‌ای عجیب نیستند. آن‌ها رفتار عادی هر سیستمی هستند که به‌اندازه کافی طولانی اجرا شود و دقیقاً همان رفتارهایی هستند که یک امتیاز اطمینان نمی‌تواند آشکار کند.
این چه پیامدی برای طراحی ایجنت دارد
پیامد عملی این است که زیرساخت تسویه باید پیش از بهینه‌سازی کیفیت پیش‌بینی ساخته شود. ایجنتی که اعداد خوب‌کالیبره تولید می‌کند اما سابقه‌ای به‌ازای هر ادعا ندارد، نمی‌تواند ارزیابی، اصلاح یا با اندازه بزرگ مورد اعتماد قرار گیرد. ایجنتی با مدل متوسط و دفتر کل دقیق می‌تواند صادقانه امتیازدهی شود و خطاهایش به ادعاهای مشخص ردیابی شوند، نه به یک برداشت کلی از صلاحیت.
پوشش بیرونی ابزارهای بازار پیش‌بینی همچنان گسترش می‌یابد و بحث پیرامون آن اغلب بر دقت مدل تمرکز دارد. سؤال بادوام‌تر این است که وقتی موقعیتی گرفته می‌شود، چه چیزی نوشته می‌شود. دفتر کل بی‌زرق‌وبرق است: یک طرح‌واره، یک مسیر نوشتن و مجموعه‌ای از محدودیت‌ها. همچنین تنها مصنوعی است که تسویه را دست‌نخورده پشت سر می‌گذارد.
امتیازهای اطمینان وضعیت ایجنت را در لحظه تولید توصیف می‌کنند. دفتر کل تسویه تعهدی را توصیف می‌کند که ایجنت بر عهده گرفته است. برای هر سیستمی که در یک بازار عمل می‌کند، دومی چیزی است که اهمیت دارد.