跳转到主要内容

预测市场智能体需要的是结算账本,而非置信度分数

当智能体建仓时,它的概率输出就变成了一项结算义务。真正重要的产物是带有来源溯源的逐条声明结算账本,而不是一个校准过的数字。

Person with a bionic prosthetic arm seated indoors with a modern look.

预测是一项不同的工作负载

大多数智能体评估把响应视为最终产物。问题到达,模型输出答案,质量就文本本身来评判。预测市场打破了这一假设。智能体不只是描述一种信念;它把这种信念转化为一个将在已知日期针对外部事件结算的仓位。输出因此获得了一种后果,这种后果是有日期的、可核查的,并且独立于智能体事后所说的任何话。

这改变了需要存储的内容。附在段落上的置信度分数是关于模型内部状态的声明。它无法与结果对账,因为没有记录说明该分数指的是什么、它是以哪个来源为条件的,或者哪个版本的 prompt 产生了它。当事件结算时,除了分数本身,没有任何东西可以用来与分数比较。在这个工作负载中,问责的单位是声明,而不是响应:一个带有结算规则、来源集和时间戳的单一命题。其余的一切都是评论。

结算账本包含什么

结算账本是智能体据以行动的每一条声明的仅追加记录。每条条目至少应包含:

  • 声明文本 —— 以可被评估为真或假的形式表述的命题,而不是模糊措辞或区间。
  • 结算标准 —— 判定该声明的确切规则,包括延期、部分结算或措辞含糊等边界情况。
  • 来源集 —— 智能体使用的具体引用,在写入时固定。
  • 时间戳 —— 声明形成的时间以及仓位建立的时间。
  • 模型与 prompt 版本 —— 复现推理路径所需的标识符。
  • 声明的分布 —— 智能体自身的概率,与其据以行动的市场价格分开保存。

关键的设计选择是:结算来源在声明写入时就被固定,而不是在事件结算时才选择。如果智能体可以在事后选择其 oracle,账本就会退化为叙事。在写入时固定来源意味着后续运行无法改写先前仓位的依据;记录是不可变的且仅追加,因此更正是新条目,而不是编辑。

一个最小 schema 让这一机制变得具体:

Detailed close-up of ultrasound machine controls in a medical facility.

{
  "claim_id": "...",
  "claim_text": "...",
  "resolution_criteria": "...",
  "resolution_source": "...",
  "source_set": ["..."],
  "written_at": "...",
  "model_version": "...",
  "prompt_version": "...",
  "stated_distribution": 0.0,
  "market_price_at_action": 0.0
}

账本不是 prompt 的日志。它是一份契约:每一行都说明什么会使该声明为真,以及这将在何处被观察到。没有它,智能体的输出在实践中就是不可证伪的,即使它以数字的形式表达。

校准要求账本先存在

校准常被提出作为过度自信智能体的解决方案。其论点是,如果声明的概率针对结果进行评分,系统就可以被调优,直到这些数字具有意义。这一论点假设账本已经存在。没有逐条声明的来源溯源,评分衡量的是评分者,而不是系统:它奖励评分者碰巧使用的任何声明定义,并且它悄悄丢弃那些从未以可评估形式写下来的声明。

基准率和参考类别应作为输入存在于账本中,而不是作为事后重建。如果智能体推理认为某条声明类似于一类具有已知历史频率的事件,那么该类应在写入时被记录。在结算后重建它会招致后见之明:一旦结果已知,最容易找到的就是对结果最有利的参考类别。事先记录它会约束分析,并使推理可审计。

将智能体声明的分布与其据以行动的市场价格分开保存同样重要。仓位是信念与价格的联合产物。如果两者在存储中合并,就无法分辨一个盈利的结果是来自更好的预测,还是来自承接了一份错误定价合约的另一方。分开的字段保留了这一区别,并允许两个组成部分被独立评估。

权衡是真实存在的。账本为每一次行动增加了延迟和存储,并且它迫使智能体在看清事件如何展开之前就承诺结算标准。这种承诺正是关键所在,但它确实降低了灵活性:在写入时确实含糊的声明必须要么被明确化,要么被排除,这降低了覆盖率。另一种选择——灵活的声明在事后评分——产生的指标无法被信

标准漂移。 结算规则可能在建仓与结算之间悄悄改变。写入时的声明可能说的是一回事;被记住的声明可能说的是另一回事。在聊天记录中,这种漂移被埋在一个很长的上下文窗口里。在账本中,固定的标准和来源使差异变得明确,任何后来的重新解释都是新条目,而不是编辑。

Detailed close-up of CNC laser units with glowing controls, ready for precision tasks.

相关声明。 聊天日志把声明呈现为一系列独立的轮次。在实践中,其中许多共享同一个来源、同一个底层事件或同一个假设。一个从一篇文章衍生出十个仓位的智能体只有一份敞口,而不是十份。账本暴露这一点,因为来源集是按声明记录的,重叠变得可查询。没有它,表面上的分散化只是格式化的产物。

静默重试。 智能体框架会重试失败的调用。未被去重的重试可能从一个意图产生两个仓位,使敞口翻倍而信念没有任何相应变化。带有幂等声明标识符和意图哈希的账本使重复建仓可被检测。机制很直接:对声明文本、标准和来源集做哈希,并在定义的窗口内拒绝具有相同哈希的第二次写入。

这些不是奇特的边界情况。它们是任何运行足够久的系统的普通行为,而且它们恰恰是置信度分数无法揭示的行为。

这对智能体设计意味着什么

实际的结论是:结算基础设施应该在预测质量被优化之前就构建好。一个产生良好校准数字但没有逐条声明记录的智能体无法被评估、纠正,也无法被信任以承担规模。一个拥有适度模型和严格账本的智能体可以被诚实地评分,其错误可以被追溯到具体的声明,而不是对能力的一般印象。

关于预测市场工具的外部报道持续扩展,周围的讨论往往聚焦于模型准确性。更持久的问题是:当仓位建立时,什么被写了下来。账本并不光鲜:它是一个 schema、一条写入路径和一组约束。它也是唯一能在结算后完好留存的产物。

置信度分数描述的是智能体在生成时刻的状态。结算账本描述的是智能体所承担的义务。对于任何在市场中进行行动的系统,后者才是重要的那一个。

封面照片:panumas nikhomkhai / Pexels。

分享XLinkedIn永久链接5 分钟阅读

相关阅读

这能回答的问题

Why is a confidence score insufficient for prediction-market agents?

A confidence score is a claim about the model's internal state at generation time. It is not tied to a resolution rule, a source set, or a versioned prompt, so it cannot be reconciled with an external outcome after the event settles. A per-claim ledger records what would make the claim true and where that would be observed.

What should a resolution ledger contain?

At minimum: claim text in evaluable form, resolution criteria, the pinned resolution source, the source set used, a timestamp, the model and prompt version, the agent's stated distribution, and the market price it acted on. Entries are append-only so later runs cannot rewrite earlier positions.

Why does calibration depend on the ledger?

Scoring stated probabilities without per-claim provenance measures the scorer's definition of the claim, not the system. Base rates and reference classes must be recorded as inputs at write time, otherwise they are reconstructed after the outcome is known, which invites hindsight bias.

What failure modes does the ledger expose?

Criteria drift, where the resolution rule changes between placement and settlement; correlated claims that share one source but appear independent in a chat log; and silent retries that produce duplicate positions from a single intent. Each becomes detectable through pinned criteria, per-claim source sets, and idempotent claim identifiers.