从预训练到后训练：推理能力的理解研究

通过国际象棋控制实验，研究人员发现大语言模型的强化学习后训练性能可由预训练损失准确预测，且RL奖励曲线斜率随预训练token数线性改善。RL并非简单锐化监督微调策略，而是在简单题上放大SFT已偏好的正确动作，在难题上浮现SFT中几乎不存在的正确动作。研究还将这些发现迁移至数学领域文本。

此前RL后训练与预训练被孤立研究，无法明确二者关系。本工作首次揭示预训练损失可预测后RL性能、预训练数据量线性提升RL效率，并阐明了RL在难题上探索新正确动作而非仅强化已有偏好的机制。

预训练损失越低，模型在RL后训练中能达到的最终性能越高，说明预训练质量为RL提供了基础表征。RL奖励曲线斜率与预训练token数近似线性正相关，表明更多预训练数据持续提升RL的边际收益。在难题上，RL能发现SFT策略几乎未出现的正确动作，体现了RL的探索能力。

该发现可指导产品团队在预训练阶段有针对地优化数据规模与模型参数量，以最大化后续RL的投入产出比。在不同难度的推理任务上，可采用差异化RL策略：简单题依赖SFT偏好，难题需增加RL探索预算。

• 基于预训练损失预测RL后性能，可用于决定是否对特定模型投入更多RL计算资源。
• 在难题推理场景中增加RL回合数或探索噪声，以暴露SFT未覆盖的正确路径。
• 在预训练时监控损失曲线并设定目标损失阈值，作为启动RL训练的参考条件。

• 这些规律是否适用于其他非棋类、非数学的复杂推理领域（如代码生成、科学推理）？
• 预训练数据分布（如棋局质量、数学题难度）对RL回报的预测关系是否稳定？
• RL在难题上浮现正确动作的具体探索机制是什么？是否依赖奖励设计的质量？