用随机奖励 RL 探测 LLM 能力可达性

一项 arXiv 论文把随机奖励强化学习（random-reward RL）用作探测工具，提出虚假奖励带来的提升反映的是模型的 reachability，即当前状态下进一步训练能达到的水平，而非当前性能。作者用 OLMo checkpoint 举例：合成算术准确率同为 3.5% 的两个 checkpoint，在相同正确性奖励 RL 下最好结果分别达到 8.5% 和 55%；训练早期 RL 收益很小，预训练后期正确奖励才有效，进入 mid-training 后随机奖励也能带来大幅提升。number-masked SFT 分析出现类似顺序。

此前对随机奖励也能提升 LLM 性能的解释主要归因于 RL 训练机制或数据污染，该论文把这一长期争论引向第三种解释：随机奖励可作为探测指标，衡量模型在当前状态下进一步训练能到达的水平，而非仅看当前 benchmark 表现。

论文把虚假奖励悖论与模型 reachability 联系起来，认为 RL 的收益不只取决于奖励信号本身是否有意义，还取决于模型所处训练阶段。早期模型即使获得正确奖励也难以提升，预训练后期正确奖励开始有效而随机奖励仍弱，进入 mid-training 后随机奖励也能带来大幅提升，说明训练阶段决定了模型对奖励的响应能力。

若该结论成立，产品与研发团队在评估模型时不能只看当前准确率，同一个 benchmark 分数可能对应完全不同的可训练上限。选择是否继续投入后训练、如何安排预训练与 mid-training 阶段，可能比单纯挑选当前分数更高的 checkpoint 更重要。

• 在模型选型流程中加入随机奖励 RL 探测步骤，用低成本 RL 运行估计 checkpoint 的可提升空间。
• 对同一 benchmark 分数的候选模型做分组对比，优先选择随机奖励下提升更大的版本用于后续微调。
• 把训练阶段作为模型资产属性记录，在发布说明中标注模型处于早期、预训练后期还是 mid-training。

• 随机奖励 RL 的探测结果能否稳定复现，并在 OLMo 以外的模型系列上成立？
• reachability 的提升是否能在真实下游任务上兑现，还是只体现在合成算术等特定任务？
• 该方法与数据污染解释之间如何区分，是否存在可操作的判别标准？
• 论文摘要未给出完整实验设置和统计显著性，结论的适用范围仍待确认。