预测是一项不同的工作负载
大多数智能体评估把响应视为最终产物。问题到达,模型输出答案,质量就文本本身来评判。预测市场打破了这一假设。智能体不只是描述一种信念;它把这种信念转化为一个将在已知日期针对外部事件结算的仓位。输出因此获得了一种后果,这种后果是有日期的、可核查的,并且独立于智能体事后所说的任何话。
这改变了需要存储的内容。附在段落上的置信度分数是关于模型内部状态的声明。它无法与结果对账,因为没有记录说明该分数指的是什么、它是以哪个来源为条件的,或者哪个版本的 prompt 产生了它。当事件结算时,除了分数本身,没有任何东西可以用来与分数比较。在这个工作负载中,问责的单位是声明,而不是响应:一个带有结算规则、来源集和时间戳的单一命题。其余的一切都是评论。
结算账本包含什么
结算账本是智能体据以行动的每一条声明的仅追加记录。每条条目至少应包含:
- 声明文本 —— 以可被评估为真或假的形式表述的命题,而不是模糊措辞或区间。
- 结算标准 —— 判定该声明的确切规则,包括延期、部分结算或措辞含糊等边界情况。
- 来源集 —— 智能体使用的具体引用,在写入时固定。
- 时间戳 —— 声明形成的时间以及仓位建立的时间。
- 模型与 prompt 版本 —— 复现推理路径所需的标识符。
- 声明的分布 —— 智能体自身的概率,与其据以行动的市场价格分开保存。
关键的设计选择是:结算来源在声明写入时就被固定,而不是在事件结算时才选择。如果智能体可以在事后选择其 oracle,账本就会退化为叙事。在写入时固定来源意味着后续运行无法改写先前仓位的依据;记录是不可变的且仅追加,因此更正是新条目,而不是编辑。
一个最小 schema 让这一机制变得具体:

{
"claim_id": "...",
"claim_text": "...",
"resolution_criteria": "...",
"resolution_source": "...",
"source_set": ["..."],
"written_at": "...",
"model_version": "...",
"prompt_version": "...",
"stated_distribution": 0.0,
"market_price_at_action": 0.0
}
账本不是 prompt 的日志。它是一份契约:每一行都说明什么会使该声明为真,以及这将在何处被观察到。没有它,智能体的输出在实践中就是不可证伪的,即使它以数字的形式表达。
校准要求账本先存在
校准常被提出作为过度自信智能体的解决方案。其论点是,如果声明的概率针对结果进行评分,系统就可以被调优,直到这些数字具有意义。这一论点假设账本已经存在。没有逐条声明的来源溯源,评分衡量的是评分者,而不是系统:它奖励评分者碰巧使用的任何声明定义,并且它悄悄丢弃那些从未以可评估形式写下来的声明。
基准率和参考类别应作为输入存在于账本中,而不是作为事后重建。如果智能体推理认为某条声明类似于一类具有已知历史频率的事件,那么该类应在写入时被记录。在结算后重建它会招致后见之明:一旦结果已知,最容易找到的就是对结果最有利的参考类别。事先记录它会约束分析,并使推理可审计。
将智能体声明的分布与其据以行动的市场价格分开保存同样重要。仓位是信念与价格的联合产物。如果两者在存储中合并,就无法分辨一个盈利的结果是来自更好的预测,还是来自承接了一份错误定价合约的另一方。分开的字段保留了这一区别,并允许两个组成部分被独立评估。
权衡是真实存在的。账本为每一次行动增加了延迟和存储,并且它迫使智能体在看清事件如何展开之前就承诺结算标准。这种承诺正是关键所在,但它确实降低了灵活性:在写入时确实含糊的声明必须要么被明确化,要么被排除,这降低了覆盖率。另一种选择——灵活的声明在事后评分——产生的指标无法被信
标准漂移。 结算规则可能在建仓与结算之间悄悄改变。写入时的声明可能说的是一回事;被记住的声明可能说的是另一回事。在聊天记录中,这种漂移被埋在一个很长的上下文窗口里。在账本中,固定的标准和来源使差异变得明确,任何后来的重新解释都是新条目,而不是编辑。

相关声明。 聊天日志把声明呈现为一系列独立的轮次。在实践中,其中许多共享同一个来源、同一个底层事件或同一个假设。一个从一篇文章衍生出十个仓位的智能体只有一份敞口,而不是十份。账本暴露这一点,因为来源集是按声明记录的,重叠变得可查询。没有它,表面上的分散化只是格式化的产物。
静默重试。 智能体框架会重试失败的调用。未被去重的重试可能从一个意图产生两个仓位,使敞口翻倍而信念没有任何相应变化。带有幂等声明标识符和意图哈希的账本使重复建仓可被检测。机制很直接:对声明文本、标准和来源集做哈希,并在定义的窗口内拒绝具有相同哈希的第二次写入。
这些不是奇特的边界情况。它们是任何运行足够久的系统的普通行为,而且它们恰恰是置信度分数无法揭示的行为。
这对智能体设计意味着什么
实际的结论是:结算基础设施应该在预测质量被优化之前就构建好。一个产生良好校准数字但没有逐条声明记录的智能体无法被评估、纠正,也无法被信任以承担规模。一个拥有适度模型和严格账本的智能体可以被诚实地评分,其错误可以被追溯到具体的声明,而不是对能力的一般印象。
关于预测市场工具的外部报道持续扩展,周围的讨论往往聚焦于模型准确性。更持久的问题是:当仓位建立时,什么被写了下来。账本并不光鲜:它是一个 schema、一条写入路径和一组约束。它也是唯一能在结算后完好留存的产物。
置信度分数描述的是智能体在生成时刻的状态。结算账本描述的是智能体所承担的义务。对于任何在市场中进行行动的系统,后者才是重要的那一个。
封面照片:panumas nikhomkhai / Pexels。
