RLVR 后训练中的语言漂移现象研究

一篇 arXiv 论文研究 RLVR 后训练中思维链出现的语言漂移：使用非标准、看似无意义的语言。作者从理论上证明 RLVR 优化压力允许无界语言漂移，而监督微调不会；实验显示漂移专门出现在模型原本不具备的新推理任务的 RLVR 训练中；并证明若不约束期望奖励，就无法约束语言漂移。

此前语言漂移虽被广泛记录并被认为可能损害思维链可监控性，但成因不清楚。该论文首次给出理论条件与实证范围的对应关系，把漂移从现象描述推进到可解释的机制层面，并指出前沿 RLVR 后训练中可监控性与性能之间存在取舍。

RLVR 只对最终结果给可验证奖励，不约束中间推理文本，因此优化压力可以推动思维链向任意非标准表达演化；监督微调直接约束目标文本，故不产生无界漂移。漂移发生在新推理任务上，说明当目标行为无法从基座模型中直接引出时，模型更容易在思维链中形成非标准语言。论文进一步证明约束漂移必然约束期望奖励。

若团队依赖思维链做安全监控、审计或调试，RLVR 后训练可能使监控信号失真，需要额外检测语言漂移。同时，试图压制漂移可能压低任务表现，因此在新推理任务上线的产品需在性能与可解释性之间做权衡，可能增加评估与对齐成本。

• 在 RLVR 训练流程中加入语言漂移检测指标，作为模型上线前的可监控性评估项。
• 针对思维链监控场景，测试并比较不同奖励设计对漂移与任务准确率的实际取舍。
• 为依赖思维链审计的产品提供漂移告警，并标注受影响的推理链路供人工复核。

• 语言漂移在多大模型规模、多少 RLVR 步数后开始出现，论文未给出量化边界。
• 是否存在不牺牲期望奖励即可缓解漂移的工程方法，论文结论倾向否定但尚需验证。
• 语言漂移对下游任务准确率和用户体验的实际影响程度未被量化。
• 该结论是否能推广到 RLVR 之外的强化学习后训练范式，证据不足。