超越策略采样：基于锚定噪声的嵌入空间方向探索用于 LLM RLVR

论文提出 EDEN 方法，用于改进带可验证奖励的强化学习（RLVR）。该方法在采样源头干预：在每个提示的采样组内，用少量“提示加单个扰动嵌入位置”生成的回滚替代标准回滚，扰动由高斯噪声驱动，并在组内共享锚点提供共同条件方向；这些扰动回滚以降低权重的方式参与 GRPO 更新。实验显示 EDEN 在多个模型规模和数学推理基准上优于 GRPO 及同流程中的探索控制方法，采样解覆盖率提升最大。

此前缓解组内奖励差异不足的手段主要是调高采样温度、熵奖励、非对称裁剪或扩大采样预算，均未改变回滚的条件输入。EDEN 直接在采样源头引入受控扰动，在不增加采样预算、不改变模型架构和解码方式的前提下，为组相对优势提供更多非零学习信号，属于探索机制层面的变化。

RLVR 中每个提示的采样组较小，同一策略重复采样容易产生高度相似轨迹，组内奖励差异下降，GRPO 的组相对优势信号被削弱。EDEN 在提示后追加一个受高斯噪声扰动的嵌入位置，并以共享锚点约束方向，使同一策略生成不同于自身常规回滚的轨迹；这些扰动回滚以降权优势参与更新，从而在不改变离散解码和测试时推理的情况下扩大探索范围。

对使用 RLVR 训练推理模型的产品与研发团队，EDEN 提供了一种不改模型架构、不增加采样预算的探索增强选项，可能降低为提升组内奖励差异而扩大采样规模的成本压力。由于测试时推理不变，部署侧无需调整；但训练管线需支持嵌入扰动、锚点共享和降权优势计算。

• 在现有 GRPO 训练管线中增加可开关的 EDEN 模块，支持配置扰动回滚比例、噪声尺度和优势降权系数。
• 针对数学推理场景建立组内奖励方差与采样解覆盖率的监控指标，用于验证 EDEN 是否带来可测量的训练信号增益。
• 在相同采样预算下对比 EDEN 与调高温度、熵奖励等基线，形成可复现的消融报告供产品选型。

• EDEN 在数学推理之外的代码生成、工具调用等 RLVR 任务上是否同样有效，证据未覆盖。
• 扰动嵌入位置的追加方式对离散解码稳定性的影响程度，以及是否需要额外约束，尚不明确。
• 降权优势的具体权重设置与扰动回滚比例如何影响最终效果，证据未给出系统性的超参数分析。
• EDEN 与更大采样预算或其他探索方法的组合收益是否叠加，尚未被验证。