异步 RL 中陈旧度在哪里累积：面向 LLM 后训练的池感知有效陈旧度控制

该论文研究全异步强化学习在 LLM 后训练中的策略滞后问题，将轨迹陈旧度拆分为生成阶段累积的 Generation Staleness 和进入池后累积的 Waiting Staleness，并提出 PACE 方法，把池占用过剩转化为自适应拒绝预算，用有效陈旧度评分排序轨迹。实验显示，单轮数学推理中六基准平均验证准确率比未过滤异步 RL 提升 18.7%，相同墙钟预算下以少 47.1% GPU 时间达到同步 RL 水平，并在多轮工具推理中同时优于同步与未过滤异步 RL。

此前异步 RL 通常把滞后视为整体问题，难以在不牺牲墙钟收益的前提下过滤轨迹；该工作给出细粒度拆分，并声称在同一时间预算下同时提升准确率与 GPU 效率，改变了异步训练中延迟与质量权衡的处理方式。

异步执行让 rollout 生成与策略优化重叠，但轨迹在生成和排队期间会跨越多个策略版本。PACE 按池占用动态生成拒绝预算，并用前缀感知的生成陈旧度加等待陈旧度构成评分，避免仅因轨迹长或中断就判为过时，从而优先保留信息价值更高的样本。

对做 LLM 后训练的团队，该方法指向在不增加墙钟时间的情况下削减 GPU 成本，并可能降低异步流水线调参成本；数据过滤和调度模块需要支持轨迹级陈旧度评分与动态拒绝逻辑，训练框架需暴露池占用与策略版本信息。

• 在自研异步 RL 训练框架中实现轨迹级陈旧度评分模块，支持可配置的拒绝预算
• 将池占用与策略版本作为监控指标，为训练调度提供动态过滤策略
• 在多轮工具调用或 Agent 训练场景复现 PACE，验证其对长轨迹的过滤收益
• 评估在 MoE 模型与替代 RL 算法上的迁移成本，形成内部基线报告

• PACE 在更大规模模型和更长训练周期下的稳定性尚未由证据确认
• 自适应拒绝预算的具体超参数与调参成本未在证据中说明
• 47.1% GPU 时间节省是否可跨硬件与集群规模复现尚不明确
• 多轮工具推理的具体基准与提升幅度在证据中未给出数值