跳转到主要内容

Anthropic 报告大语言模型可证明推理研究进展

Behzat AIprovable-inferenceagent-safetyllm-evaluationformal-methodsresearch
电路板的微距照片,近距离显示走线、焊点和表面贴装元件。

据本工作室跟踪的报道,Anthropic 已发表关于大语言模型可证明推理的研究。这一方向对 agent 工程具有重要意义,因为证明义务与 evaluation 是两种不同的产物:前者是事先声明的界,并针对模型进行校验,而非事后计算出的分数。如果这一点成立,已部署 agent 的保证就可以写成可验证的约束,而不是基于阈值的测试套件。

电子电路板的微距照片,显示微芯片和元件

情况尚未有定论。南方科技大学的一篇独立论文主张,没有任何算法能够证明 AI agent 会坚守其目标,这为任何认证层在目标遵循方面所能承诺的内容设定了上限。将两项结果放在一起看,它们指向一种区分:有些性质可能变得可证明,而另一些性质在一般情况下仍然不可判定。为 agent 制定保证规范的团队需要说明每项要求属于哪一类。

Anthropic 还警告称,它已接近递归自我改进能力。本工作室指出,相关报道并未给出该警告的技术依据、可证明推理结果的适用范围,或所涉及的模型类别与假设。可以明确的是,agent 系统的规范层正同时被拉向两个方向:一是形式化的界,二是对无法认证之事的明确承认。本工作室正在跟踪这两条线索,将其作为构建 agent 部署的 evaluation 与保证体系的输入。

让我们聊聊!