推理模型的放大不等于预测能力

Hugging Face发布研究，提出Behavioral Lift指标，分析15个模型、6个基准和15282条推理轨迹，发现推理模型放大自我修正、假设检验和不确定性确认，但正确性关联最高的是置信度校准、知识对齐和自我意识，存在放大-提升差距，推理训练未优先增强高提升行为。

该研究揭示推理模型的训练可能夸大推理过程的形式，而非真正提升正确性，为评估和优化推理模型提供新视角，影响模型选择与训练方向。

推理模型通过强化学习放大特定行为，如自我修正和不确定性确认，但这些行为与正确性关联较弱或为负；而正确性关联强的行为如置信度校准未被放大，导致训练目标与预测性能脱节。

产品团队在评估推理模型时需关注Behavioral Lift等指标，而非仅看推理过程长度或表面复杂性；可调整训练目标或后处理策略，优先奖励校准和接地推理。

• 开发基于Behavioral Lift的模型评估工具，帮助团队选择推理模型。
• 在推理模型中增加置信度校准机制，提升输出可靠性。
• 设计过程级奖励函数，鼓励知识对齐和校准推理。
• 推出针对推理模型的训练后微调服务，强化高提升行为。

• Behavioral Lift在不同应用场景（如代码、数学）是否一致？
• 推理训练的放大差距是否随着模型规模增大而缩小？
• 是否有方法在不牺牲推理多样性下增强高提升行为？