基于信息时间的近端策略优化方法

arXiv 论文提出 InfoPPO，针对 LLM 推理强化学习中沿自回归轨迹信息流分布极不均匀的问题，不再按逐 token 生成来定义时间推进，而改用信息密度重新参数化 MDP 的时间进程。该重参数化为时间信用传播与策略更新带来共同的状态依赖结构，并通过自适应裁剪实现状态依赖的更新约束。论文在 Qwen3 模型上进行了实验。

此前 RLVR 类方法普遍以 token 数量作为时间步，长序列中末尾监督信号会被严重稀释，折扣机制也难以发挥作用。InfoPPO 把时间单位从 token 换成信息密度，使长程推理中的折扣重新变得有效，并把裁剪阈值与状态信息密度绑定，为 LLM 策略优化提供了一种不同于固定裁剪的更新约束思路。

自回归生成中每个 token 携带的信息量差异很大，按 token 计时的信用分配与实际决策进度错位。InfoPPO 用信息密度重新定义时间，使信用传播与策略更新共享同一状态依赖结构：在信息稀疏位置压缩有效视野，在信息密集位置保留监督强度。基于此得到的策略改进下界与自适应裁剪，把裁剪阈值按状态信息密度调整，从而在维持近端约束的同时提高更新的针对性。

若该方法在更大模型和更多任务上可复现，推理类模型的 RL 训练可直接复用现有 PPO 框架，只需替换时间定义与裁剪策略，改动集中在训练侧而非推理侧。对研发团队而言，这意味着长思维链任务的训练稳定性和监督利用率可能改善，进而影响后训练算力分配与调参成本。短期内不改变线上推理成本与用户体验。

• 在自有 RLVR 训练管线中做小规模 A/B：对比固定裁剪与 InfoPPO 自适应裁剪在长推理任务上的收敛速度与最终精度。
• 针对长思维链数据构建按信息密度加权的采样与信用分配模块，作为现有 PPO 实现的插件式替换，验证是否降低末尾监督衰减。
• 跟踪该论文代码与后续复现结果，评估是否值得把信息时间定义写入内部后训练框架的默认配置选项。

• 证据仅提到 Qwen3 模型实验，未给出具体模型规模、任务集合与相对基线提升幅度。
• 信息密度在实现中如何估计，是否需要额外前向计算或标注，证据未说明。
• 自适应裁剪相对标准 PPO 裁剪带来的额外训练开销与超参敏感度尚不明确。
• 该方法在短序列或非推理类 RL 任务上是否同样有效，证据未涉及。