GRPODropout：在线强化学习 rollout 中少即是多

该论文提出 GRPODropout：在标准策略更新前，选择性剔除少量高概率、正优势的 rollout，并对保留的优势做重新中心化。论文称该方法只改变 rollout 的使用方式，计算开销可忽略，在更少 rollout 样本下取得比原始 GRPO 更高的准确率和更高的 actor 熵。

此前缓解策略熵坍塌多依赖奖励修改、熵或 KL 正则化等算法层干预，以及 token 级重加权。该工作转向 rollout 使用层面，指出同一采样预算下并非所有 rollout 都对更新有正贡献，为提升大模型推理的训练效率提供了不同切入点。

GRPO 等方法在训练中会损失采样多样性，导致探索变弱、性能难以继续提升。该论文从 rollout 层面做理论分析，据此设计剔除高概率正优势 rollout 并重新中心化保留优势的策略，从而在保留较少样本时维持更高的 actor 熵，机制仅作用于哪些 rollout 参与更新。

对做 LLM 推理后训练的团队，这提示可在不增加采样预算的前提下调整 rollout 筛选逻辑，可能降低单位更新所需的样本量并减缓熵坍塌，但实际收益仍取决于任务、模型规模和阈值选择。

• 在现有 GRPO 训练流程中接入 rollout 剔除与优势重新中心化，作为可开关的配置项做 A/B 对比。
• 针对自身业务任务复现论文实验，验证更少 rollout 样本是否仍保持准确率并提升熵。
• 基于论文开源代码做阈值调参工具，帮助团队按任务选择剔除比例。

• 该方法的准确率与熵收益在不同模型规模、任务类型上是否稳定成立？
• 高概率正优势 rollout 的阈值选择是否对超参数敏感、是否需要频繁重调？
• 与传统熵正则化、token 级重加权相比，实际算力与工程成本差异多大？
• 论文结果能否在工业级长序列推理训练中复现？