概率不够：通过探索与计数分歧 token 量化 LLM 推理不确定性

该论文提出 Divergent Token Confidence（DTC）框架，通过统计两个模型在同一条推理路径解码时强烈分歧的 token 数量来估计置信度，分歧由 next-token 分布的 Jensen-Shannon 散度判定。研究发现分歧 token 数与答案准确率几乎呈负相关。DTC 无需显式训练、不改变生成过程，同时支持白盒与黑盒评估。在多个模型家族和六个数学基准上，其校准表现优于基于概率和语言化置信度的基线。

此前 LLM 置信度估计多依赖选中关键 token 的概率，但其机制不清晰，校准效果有限。DTC 改用两个模型解码分歧的 token 计数作为信号，提供了不依赖内部概率的方法，并同时覆盖白盒与黑盒场景。

两个模型沿同一推理轨迹解码时，若某处 next-token 分布差异大（以 Jensen-Shannon 散度衡量），说明此处推理存在分歧。分歧 token 越多，答案越可能出错，因此计数本身即可作为不确定性信号，且无需训练或干预生成。

对需要模型置信度输出的产品，DTC 可在不改变推理链路、不重新训练的前提下提供校准信号，白盒可内部计算，黑盒可用辅助模型实现，降低对概率接口的依赖，便于在问答、数学解题等场景触发人工复核或重试。

• 在数学解题类产品中接入分歧 token 计数，作为低置信度答案的自动复核或重试触发器
• 为无法访问模型内部概率的第三方 API 场景，构建基于辅助模型的 DTC 黑盒置信度服务
• 将 DTC 校准信号用于路由：高分歧请求转更强模型或人工，低分歧直接返回
• 在多模型部署中复用已有模型对，实现零额外训练的置信度监控看板

• DTC 在数学以外的开放域推理任务上是否同样有效
• 辅助模型的选择对黑盒校准效果与成本的影响有多大
• 分歧 token 计数与答案准确率的负相关是否存在任务或模型范围的边界
• 白盒与黑盒两种模式下校准误差 13.0% 等具体数值的完整评测细节