OR替代法：一种可微分的策略优化信任区域

论文提出Output Reset（OR）平滑饱和规则，替换PPO和GRPO中的clip机制，用于大语言模型后训练。在Llama-3.2-1B-Instruct模型和Anthropic hh-rlhf数据集上，使用一个共享奖励模型、每种方法三个种子测试。GAE下，PPO-OR平均最终训练奖励模型得分比PPO-clip高0.305，但种子间差异更大。组相对优势下，GRPO-OR平均得分未提高，但方差更小、终端OR残差近零、过冲分数下降，而GRPO-clip仍变化。两种组相对方法均表现出更大的log-ratio位移，OR未一致减少。在组大小G=2时，GRPO-OR诊断未转化为得分增益。

传统PPO使用clip目标函数导致导数突变，OR作为平滑的单侧饱和规则，可能引入更稳定的梯度行为。实验表明在广义优势估计（GAE）下能提升奖励模型得分，但在组相对优势下仅改善稳定性而未提分，说明其效果依赖于优势估计方法。

OR将clip替换为平方边际损失，在token log-ratio空间中根据优势符号决定更新方向，当token越过有利边际后，其直接OR残差归零，实现平滑优化。相比clip的硬截断，OR的导数连续，理论上减少优化过程中的突然梯度变化，但引入的log-ratio位移更大需进一步理解。

对LLM后训练中的RLHF流程可能提供替代优化工具，尤其适合需要降低训练方差或过冲的场景。但需注意PPO-OR在GAE下得分提高的同时种子间波动增大，GRPO-OR虽稳定却未提升分数，实际应用需权衡稳定性与性能。当前结果仅基于1B模型和单一数据集，直接迁移至更大模型或产品环境前需更多验证。

• 在RLHF中采用PPO-OR替代PPO-clip，结合GAE，可能提升奖励模型得分，但需监控种子间方差。
• 若训练稳定性优先，可尝试GRPO-OR以降低过冲和残差，但应接受平均得分未提升的风险。

• 更大组大小（G>2）下GRPO-OR是否会出现得分增益？
• OR在更大模型（如7B、70B）和更多样化任务上的表现如何？
• OR带来的奖励模型得分提升能否转化为下游任务（如对话质量）的实际改善？
• GAE下PPO-OR种子间方差增大的根本原因是什么？