释放 Critic 价值：面向 LLM 后训练的无奖励策略优化

一篇 arXiv 论文指出，近期大语言模型强化学习后训练倾向去掉 critic 以降低不稳定与显存开销，且训练结束后常将 critic 丢弃。作者认为基于 critic 的长链思维推理不稳定主要是优化问题：只要保持策略更新幅度小、方差低即可稳定收敛。据此提出 RFPO，把单个校准且冻结的 critic 同时用作 rollout 级奖励、价值基线和成功预测器，并对去偏分数二值化以抑制长度偏置，在训练循环中无需任何标签即可匹配监督 PPO，同时降低计算与显存开销。

此前主流做法是移除或训练后丢弃 critic，以稳定性与内存为由放弃其已学到的结果预测能力。该工作反其道而行，先论证不稳定源于优化细节而非 critic 本身，再把 critic 复用为奖励、基线与预测器，使无标签训练在长程推理任务上可与监督 PPO 持平，改变了对 critic 是否值得保留的判断。

机制在于：被充分预训练的 critic 能从轨迹后段状态和未完成前缀估计最终成功的后验概率，从而提供由结果导出的、密集的逐前缀学习信号。这些信号在策略优化时不需要完整 rollout、步骤级标注或外部奖励标签，一个冻结 critic 即可同时充当奖励、优势估计基线和成功预测器；对去偏分数二值化则切断策略利用 critic 长度偏置的路径。

若结论成立，后训练流水线可省去奖励模型或人工标注环节，降低算力与显存成本，并让长程推理任务的 late outcome 反馈更可用。对研发而言，重点从“是否训练 critic”转向 critic 的预训练质量、校准与冻结策略，以及小步低方差更新等优化配置，评测需覆盖长度偏置是否被策略利用。

• 在自有后训练流程中复用已有 critic 做无标签实验，对比监督 PPO 的算力、显存与效果
• 针对长链思维推理场景构建基于未完成前缀成功预测的中间信号，减少完整 rollout 成本
• 把 critic 校准与长度偏置检测加入模型上线前的评估清单
• 将 critic 作为独立资产保留并版本化，而非训练结束后丢弃

• RFPO 在长程推理以外的任务类型上是否同样匹配监督 PPO，证据未覆盖
• 冻结 critic 的预训练成本与数据要求未被量化，整体收益是否仍成立尚不明确
• 二值化去偏对长度偏置的抑制在不同模型规模与任务上的稳健性待验证
• 论文仅有一个信源，尚无独立复现或同行评审结果