Прогнозирование — это другая рабочая нагрузка
Большинство оценок агентов рассматривают ответ как конечный артефакт. Поступает вопрос, модель выдаёт ответ, и качество оценивается по самому тексту. Рынки предсказаний ломают это допущение. Агент не просто описывает убеждение; он превращает это убеждение в позицию, которая будет рассчитана по внешнему событию в известную дату. У вывода появляется последствие, которое датировано, проверяемо и не зависит от того, что агент скажет afterwards.
Это меняет то, что нужно хранить. Оценка уверенности, привязанная к абзацу, — это утверждение о внутреннем состоянии модели. Её нельзя сверить с исходом, потому что нет записи о том, к чему относилась оценка, на каком источнике она была обусловлена или какая версия промпта её породила. Когда событие разрешается, не с чем сравнивать оценку, кроме самой оценки. Единица подотчётности в этой рабочей нагрузке — утверждение, а не ответ: единичное предложение с правилом расчёта, набором источников и временной меткой. Всё остальное — комментарий.
Что содержит реестр расчётов
Реестр расчётов — это дополняемая только в конец запись каждого утверждения, на которое агент действовал. Каждая запись должна содержать как минимум:
- Текст утверждения — предложение в форме, которую можно оценить как истинную или ложную, а не хеджирование или диапазон.
- Критерии расчёта — точное правило, определяющее утверждение, включая пограничные случаи, такие как перенос, частичный расчёт или неоднозначная формулировка.
- Набор источников — конкретные ссылки, которые использовал агент, зафиксированные в момент записи.
- Временная метка — когда утверждение было сформировано и когда была открыта позиция.
- Версия модели и промпта — идентификаторы, необходимые для воспроизведения пути рассуждения.
- Заявленное распределение — собственная вероятность агента, хранимая отдельно от рыночной цены, на которую он действовал.
Критический выбор дизайна в том, что источник расчёта фиксируется при записи утверждения, а не выбирается при расчёте события. Если агент может выбрать свой оракул после факта, реестр вырождается в нарратив. Фиксация источника в момент записи означает, что более поздний запуск не может переписать основу более ранней позиции; запись неизменяема и дополняется только в конец, поэтому исправления — это новые записи, а не правки.
Минимальная схема делает механизм конкретным:
{
"claim_id": "...",
"claim_text": "...",
"resolution_criteria": "...",
"resolution_source": "...",
"source_set": ["..."],
"written_at": "...",
"model_version": "...",
"prompt_version": "...",
"stated_distribution": 0.0,
"market_price_at_action": 0.0
}
Реестр — это не журнал промптов. Это контракт: каждая строка утверждает, что сделало бы утверждение истинным и где это можно было бы наблюдать. Без него вывод агента на практике неопровержим, даже когда он выражен числом.
Калибровка требует, чтобы реестр существовал сначала
Калибровку часто предлагают как исправление для сверхуверенных агентов. Аргумент в том, что если заявленные вероятности оцениваются против исходов, систему можно настроить, пока числа не станут что-то значить. Этот аргумент предполагает, что реестр уже существует. Оценка без происхождения по каждому утверждению измеряет оценщика, а не систему: она вознаграждает то определение утверждения, которое случайно использует оценщик, и молча отбрасывает утверждения, которые никогда не были записаны в оцениваемой форме.
Базовые ставки и референсные классы принадлежат реестру как входные данные, а не как реконструкции. Если агент рассуждает, что утверждение напоминает класс событий с известной исторической частотой, этот класс следует записать в момент записи. Реконструкция после расчёта приглашает ретроспекцию: референсный класс, который выглядит наиболее благоприятным для исхода, легко найти, когда исход известен. Запись заранее ограничивает анализ и делает рассуждение проверяемым.
Хранение заявленного распределения агента отдельно от рыночной цены, на которую он действовал, столь же важно. Позиция — это совместный продукт убеждения и цены. Если их объединить в хранилище, становится невозможно определить, пришёл ли прибыльный исход от лучшего прогноза или от занятия противоположной стороны неправильно оценённого контракта. Раздельные поля сохраняют это различие и позволяют оценивать оба компонента независимо.
Компромисс реален. Реестр добавляет задержку и хранение к каждому действию и заставляет агента зафиксировать критерии расчёта до того, как он увидел, как разворачивается событие. Эта фиксация и есть суть, но она действительно снижает гибкость: утверждения, которые на момент записи действительно неоднозначны, должны быть либо уточнены, либо исключены, что снижает покрытие. Альтернатива — гибкие утверждения, оцениваемые позже, — порождает метрики, которым нельзя доверять. Покрытие — это
Как только утверждения записываются по отдельности, становятся видны несколько режимов отказа, невидимых в стенограмме чата.
Дрейф критериев. Правило расчёта может незаметно измениться между открытием позиции и расчётом. Утверждение, как записано, может говорить одно; утверждение, как запомнено, может говорить другое. В стенограмме дрейф погребён в длинном контекстном окне. В реестре зафиксированные критерии и источник делают различие явным, и любая последующая переинтерпретация — это новая запись, а не правка.
Коррелированные утверждения. Журнал чата представляет утверждения как последовательность независимых ходов. На практике многие из них разделяют один источник, одно лежащее в основе событие или одно допущение. Агент, открывающий десять позиций, производных от одной статьи, имеет одну экспозицию, а не десять. Реестр выявляет это, потому что набор источников записывается по каждому утверждению, и пересечение становится доступным для запроса. Без него кажущаяся диверсификация — артефакт форматирования.
Молчаливые повторные попытки. Фреймворки агентов повторяют неудачные вызовы. Повторная попытка, которая не дедуплицирована, может породить две позиции из одного намерения, удваивая экспозицию без соответствующего изменения убеждения. Реестр с идемпотентными идентификаторами утверждений и хешем намерения делает дублирующее размещение обнаружимым. Механизм прост: хешируйте текст утверждения, критерии и набор источников и отклоняйте вторую запись с тем же хешем в пределах определённого окна.
Это не экзотические пограничные случаи. Это обычное поведение любой системы, которая работает достаточно долго, и именно те поведения, которые оценка уверенности не может выявить.
Что это означает для дизайна агентов
Практическое следствие в том, что инфраструктуру расчётов следует строить до оптимизации качества прогнозирования. Агент, который выдаёт хорошо калиброванные числа, но не имеет записи по каждому утверждению, не может быть оценён, исправлен или допущен к размеру. Агент со скромной моделью и строгим реестром может быть честно оценён, и его ошибки можно проследить до конкретных утверждений, а не до общего впечатления о компетентности.
Внешнее освещение инструментов для рынков предсказаний продолжает расширяться, и окружающее обсуждение часто сосредоточено на точности модели. Более долговечный вопрос — что записывается, когда открывается позиция. Реестр негламурен: это схема, путь записи и набор ограничений. Это также единственный артефакт, который переживает расчёт нетронутым.
Оценки уверенности описывают состояние агента в момент генерации. Реестр расчётов описывает обязательство, которое агент взял на себя. Для любой системы, действующей на рынке, важно второе.