Le Critique：LLM强化学习的特权值函数

本论文提出两种提升LLM强化学习中值函数性能的策略：特权值函数（PVF）和自适应基线TETHER。在多个推理任务上，两种策略均稳定优于标准值函数基线，并与平均基线GRPO相当或更优。

当前LLM强化学习主流采用无评论家的GRPO等方法，值函数方法因工程挑战和实际效果不显而未普及。本论文提出策略解决了值函数方法的关键瓶颈，可能推动其在实际管线中的采用，提高训练效率和有效性。

PVF通过注入额外任务相关的词元级信号，不引入策略偏差，从而提升值函数精度。TETHER根据值函数准确性，在组相对基线和值基线间自适应插值，平衡二者优势。这些机制使值函数方法在稳定性和性能上更具竞争力。

若这些方法被验证有效，产品技术团队可将其集成到LLM训练流程中，预期提升推理任务性能，降低采样组大小，减少训练时延，提高吞吐量，并可能降低计算成本。

• 在内部RL训练管线中实现PVF和TETHER，对比标准GRPO的性能与成本。
• 基于这些策略优化推理任务的微调流程，提升模型准确率。

• 在更大规模模型和多种任务上的泛化性能如何？
• 这些方法在真实产品训练负载中的吞吐量提升幅度？
• 是否存在特定任务下性能不如GRPO的情况？