思维链熵作为可靠性信号：一项预注册复现研究

一篇预注册复现研究检验了2026年Zhao报告的结论：大模型思维链熵轨迹的“形状”可预测最终答案正确性，而总熵降的“幅度”不能。研究在OSF事前注册，覆盖GSM8K与MATH-500完整测试集和四个开放权重模型。结果形状信号复现，幅度信号随设定分化：锚点模型上GSM8K单调与非单调链准确率差9.6个百分点，MATH-500差27.5个百分点。

此前幅度结论仅来自单模型、单种子、300题的运行，证据薄弱；本次以完整测试集、四个开放权重模型并事前注册设计进行独立复现，明确了哪些信号可复现、哪些不稳定，为把熵用作可靠性指标提供了更可靠的分界。

该研究把思维链不确定性分解为两个维度：熵下降的总体幅度反映模型整体把握程度，熵轨迹形状反映推理过程中的波动结构。复现显示形状与正确性的关联较稳健，而幅度关联受模型与数据集影响较大，说明仅用总量指标判断可靠性容易失效。

若产品要用熵做置信度或答案筛选，应优先采用轨迹形状类信号并针对具体模型与数据集校准，不宜直接沿用总熵降阈值；评估流程需覆盖多种模型与基准，并注意推理蒸馏模型上二值形状信号触发过少的问题。

• 在模型评估或答案过滤流程中，优先接入思维链熵轨迹形状指标，并按模型分别校准阈值后再上线。
• 对推理蒸馏类模型改用分级违规计数而非二值形状标记，以避免触发率过低导致信号不可用。
• 复现实验报告应公开积分区间等关键参数，否则风险-覆盖类指标无法在不同实现间对齐比较。

• 最终步熵在所有模型-基准组合中ROC面积优于二值形状标记，是否可替代形状信号尚无定论。
• 风险-覆盖面积优于原始报告所依赖的积分区间未被原文说明，其可比性待确认。
• 推理蒸馏模型上二值形状信号约百条链触发一次，注册对比无法估计，其适用边界未知。
• 该结论基于四个开放权重模型和两个数学基准，能否推广到其他任务类型尚未验证。