突破稳定性与探索困境：用于大语言模型策略优化的环境正则化方法

阿里巴巴提出环境正则化策略优化（ERPO）方法，通过引入Query-KL（QKL）正则项，将LLM策略优化的正则化从动作侧移至输入侧，以解决稳定性与探索性的权衡问题。ERPO可融入GRPO、PPO、REINFORCE等框架，无需额外前向传播，在六个数学推理基准上，相比标准Policy-KL正则化，取得了更高的准确率和更稳定的行为，尤其是在高温解码和长时训练下。

现有LLM策略优化依赖Policy-KL正则化，制约探索并引发放置两难。ERPO首次将正则化移至查询侧，通过QKL项约束查询分布漂移，同时保持探索自由度，为提升模型推理能力和训练稳定性提供了新路径。

ERPO在输入侧引入QKL项，限制当前策略导致的查询分布相对于参考分布的漂移，并利用数据集静态参考的每查询权重，使更新偏向参考下的典型查询。QKL梯度仅通过查询似然流动，不影响响应评分函数，因此不直接限制响应分布，保留探索能力。

对依赖大模型推理能力的应用，如数学解题工具，ERPO可能提升输出准确性和长期运行稳定性；无需额外前向传播，计算成本可控。对训练流程，可替换现有Policy-KL正则化，简化调参。

• 在数学推理类产品中，集成ERPO优化微调流程，提升高温解码下的输出准确率和稳定性。
• 将ERPO作为插件模块，在GRPO/PPO/REINFORCE框架中替换Policy-KL，供内部团队使用。
• 基于ERPO代码库，开发针对长时训练或复杂推理任务的定制化优化服务。

• ERPO在其他非数学领域的泛化效果如何？
• QKL项对超参数的敏感程度尚不清楚。
• 在超大规模模型上的可扩展性未见证据。
• 代码库的成熟度和社区支持情况待确认。