基于 token 级感知依据优势估计强化多模态推理

研究指出，当前多模态大模型的 RLVR 训练依赖序列级粗粒度奖励，缺少对推理链中视觉依据步骤的细粒度监督。作者从视觉依赖度与预测熵两个 token 级指标入手分析，发现正确推理链在视觉依据增强时熵下降更明显，且误判会引发推理崩溃的关键 token 是统计离群点。据此提出 TPAE，用 token 与正确轨迹视觉-熵模式的一致性估计优势值，并在七个基准上超过强基线。

此前多模态推理强化学习多停留在序列级奖励，难以区分推理链中哪些步骤真正依赖图像。该工作把监督粒度下沉到 token，并给出视觉依赖与预测熵两个可度量的诊断维度，为细粒度奖励设计提供了可复用的分析视角与可验证结论。

RLVR 通常用最终答案正确性给出序列级奖励，所有 token 共享同一优势值，视觉依据薄弱的步骤无法被单独奖惩。TPAE 假设正确轨迹在视觉依赖与预测熵的联合分布上有稳定模式，于是以每个 token 偏离该模式的程度打分，再用该分数调节序列级优势，从而在不改动原有 RLVR 框架的前提下注入 token 级信号。

若该方法可稳定复现，训练侧可在同等算力下获得更稳定、更高效的收敛，减少因错误推理链被整体奖励而造成的无效优化。工程上需要对 rollout 计算视觉依赖与预测熵，推理与训练管线需支持逐 token 诊断指标采集，数据标注与奖励模型设计也需相应调整。

• 在自有 MLLM 训练管线中复现 TPAE，对比序列级奖励在同等算力下的收敛步数与基准得分。
• 将视觉依赖度与预测熵作为在线监控指标，用于定位推理链中易崩溃的关键 token 步骤。
• 基于该开源仓库 https://github.com/Zhihan72/TPAE 验证与现有 RLVR 框架的集成成本。
• 在多模态产品的高风险场景中，用 token 级一致性分数筛选低质量推理链再交付。

• TPAE 在七个基准之外的领域或更长推理链上是否同样稳定，证据未说明。
• 引入 token 级指标带来的额外计算与显存开销具体增加多少，摘要未给出。
• 视觉依赖与预测熵的具体计算方式及其对图像编码器差异的敏感性尚不明确。
• 该方法的开源实现是否覆盖多种 RLVR 框架的完整集成，仍需核实。