利用弱模型引导提升RLVR中LLM的探索能力

一篇arXiv论文提出通过弱模型引导的探索方法来应对RLVR训练中的熵崩塌问题。该方法强制目标模型基于较小较弱语言模型生成的部分推理轨迹来产出答案，从而增加推理多样性。实验表明，该方法在多个数学基准上优于标准RLVR，且随着k增大，性能提升更明显，无需额外SFT或复杂奖励设计。

以往缓解熵崩塌主要依赖算法正则化，未充分利用跨模型非参数扰动。该论文引入外部弱模型生成的陌生前缀，以低成本方式保持LLM推理多样性，并在数学基准上验证了效果，为RLVR训练提供了新的实用思路。

RLVR训练会降低策略熵，导致推理覆盖收窄，损害大k下的pass@k。论文提出的方法通过引入分布差异较大的弱模型前缀，打断模型过度自信，促使模型探索不同推理路径，从而维持多样性并提升性能，且无需额外SFT或复杂设计。

对于依赖大语言模型推理能力的AI产品，如数学解题助手，该方法可提升模型在多次采样下的最终答案质量，而不显著增加训练成本，可能改善用户体验和产品竞争力。但需自行实现并验证，尚存风险。

• 在RLVR训练流程中引入弱模型前缀生成模块，以增强推理多样性。
• 评估该方法在数学、代码等任务上的效果，替换现有正则化策略。
• 将弱模型引导作为服务，提供给其他模型训练团队使用。

• 该方法在其他非数学领域（如代码生成）是否同样有效？
• 弱模型的选择标准及前缀长度如何影响最终效果？
• 该方法对训练稳定性和收敛速度的具体影响尚不明确。
• 是否已有第三方独立复现验证结果？