CARM：面向 LLM 强化学习的抵消感知响应掩码

该 arXiv 论文提出 CARM（Cancellation-Aware Response Masking）序列级掩码方法，用于 LLM 强化学习后训练中处理采样响应偏离策略的问题。现有基于长度归一化几何平均的掩码规则会让带符号对数比在不同位置相互抵消，掩盖双向策略漂移。CARM 先对每个 token 的对数比取绝对值再平均。实验显示，在 AIME 2024/2025/2026 与 BeyondAIME 上，mean@16 较几何平均掩码最多提升 3.13 个百分点；在四个代码基准上平均 pass@1 较最强基线提升 2.88 个百分点。

此前普遍使用的几何平均掩码会因正负对数比抵消而低估策略漂移，使部分实际偏离策略的响应仍被纳入优化。CARM 改变了响应筛选的判据，并给出接受响应满足联合边界的证明，把序列级掩码从经验规则推向可分析的方法。

token 概率比的对数有正有负，几何平均在位置间求和时会让方向相反的漂移相互抵消，导致整体看似接近在策略。CARM 对每个 token 对数比取绝对值后再聚合，使任意方向的大幅漂移都会抬高整体分数，从而更敏感地剔除偏离采样策略的响应。论文进一步证明被接受的响应在超出指定区间的 token 比例与其平均对数距离上满足联合上界。

对做 LLM 后训练或 RL 微调的团队，CARM 是可直接替换序列级掩码规则的候选方案，可能影响 rollout 与训练引擎不一致时的响应过滤逻辑。若收益可复现，可用于提升数学推理与代码生成任务的采样效率与训练稳定性，但需评估额外计算与实现成本。

• 在现有 RL 后训练流程中对 CARM 与几何平均掩码做 A/B 对比，分别在数学推理和代码任务上验证 mean@16 与 pass@1 的实际增益。
• 将 CARM 封装为可配置的响应级掩码模块，嵌入 rollout 与训练引擎不一致的分布式训练管线，记录被剔除响应的比例分布。
• 针对自身业务数据集复现论文的联合边界检验，确认接受响应是否满足规定的 token 比例与平均对数距离约束。

• CARM 在论文所述基准之外的通用对话或多模态任务上是否同样有效，证据未覆盖。
• 取绝对值后聚合是否会带来额外的计算或显存开销，以及相对几何平均掩码的具体成本差异，证据未说明。
• 论文未给出 CARM 与全部现有掩码方法的完整对比，其相对其他序列级掩码策略的表现仍不明确。
• 该方法的开源实现、复现细节与超参数敏感性尚未在证据中确认。