扩展强化学习是否真的需要更多训练

一篇 arXiv 论文提出 policy-space scaling：在不延长 RL 训练、不增加单次推理计算的前提下，从已完成的 RL 训练历史中构造出比优化器访问过的 checkpoint 更强的策略。作者提出 SURGE 方法，将同一次 RL 运行中的高准确率 anchor 与生成更短回答的 donor 两个 checkpoint，表达为相对共享初始化的更新，并对 anchor 更新做谱分解，保留其主导分量、融入 donor 的互补分量。在 DeepSeek、Nemotron 两个 1.5B 数学推理历史和 OLMo 一个 7B 代码历史上，SURGE 的基准平均准确率超过两个输入 checkpoint，且推理 token 少于 anchor。

常规扩展推理能力的做法是增加 RL 训练算力或增加推理算力，论文则声称可以从同一段训练历史中提取出额外可部署策略。若结论成立，提升幅度可能超过已有训练曲线，意味着已投入的 RL 训练存在被再次利用的空间，而不是只能继续追加训练或推理开销。

机制上，SURGE 把同源的两个 checkpoint 视为对同一初始化的两组更新，对 anchor 的更新做谱分解，保留主导方向，再注入 donor 的互补方向，从而在同一权重空间内组合出新的单一策略。它不搜索候选策略，而是由权重直接确定块大小。论文用几何对照说明，效果依赖 RL 更新的结构，而不只是权重位移或 token 减少。

对研发而言，已完成的 RL 训练产物可能不止一个可用 checkpoint，可被视为可再组合的策略资产，用于在不增加训练与推理预算的情况下提高准确率并压缩推理 token。对产品与成本而言，同等或更低 token 消耗下的准确率提升，可能直接改善推理服务成本与响应长度；但证据仅覆盖 1.5B 与 7B 规模，尚不能外推到更大模型或通用业务场景。

• 在自有 RL 训练记录上复现 SURGE 流程，比较组合策略与最佳 checkpoint 的基准准确率和平均推理 token。
• 将同源 checkpoint 的谱融合纳入模型发布流程，产出准确率更高、回答更短的默认部署版本。
• 针对数学推理和代码生成两条已有评测链路，验证融合后能否同时满足准确率与 token 预算门槛。

• 论文在更大参数规模或非数学、非代码任务上是否仍然成立？
• SURGE 对不同 RL 算法、不同初始化或非同源 checkpoint 是否同样有效？
• 融合后的策略在安全性、对齐与分布外行为上是否与原始 checkpoint 一致？
• 该方法能否与后续继续训练或多轮 RL 叠加，还是只适用于固定训练历史？