理解用于 LLM 推理的进化策略：比 GRPO 具有更广的推理覆盖

arXiv 论文研究 ES 在 LLM 推理后训练中的优化行为，发现 ES 比 GRPO 具备更广泛的推理覆盖，能更好利用预训练模型的推理能力。理论上 ES 群体多样性有助于 Pass@K，实证中 ES 提升 Pass@1 并达到更高 Pass@K。论文提出 GRPO-ES 混合策略，并发现 ES 的功能稀疏性及超参数影响。

此前 GRPO 是主流的推理后训练方法，但存在熵崩溃问题。ES 作为内存高效的替代范式，首次被系统性研究，理论上和实证上证明其能提供更广的推理覆盖，并同时提升 Pass@1 与 Pass@K，为推理模型的训练提供了新选择。

ES 通过维持种群多样性，避免像 GRPO 那样熵崩溃，从而提升推理覆盖。论文用验证器投影的 Jensen-Shannon 多样性解释这一机制，显示多样性与 Pass@K 正相关。此外，ES 的模型更新虽然参数漂移大，但功能变化稀疏，且对超参数敏感，大型模型需要更小的种群规模。

对推理模型开发，ES 可作为 GRPO 之外的替代或补充，可能降低内存需求并提升推理多样性。GRPO-ES 顺序策略结合两者优势，可改善 Pass@K。稀疏更新特性或能减少灾难性遗忘，对持续学习或微调流程有利，但需关注超参数调优成本。

• 开发结合 GRPO 与 ES 的混合训练流程，先 GRPO 后 ES 精调，平衡 Pass@1 与 Pass@K 指标。
• 在推理服务中引入基于 ES 的多样性采样，用于需要高覆盖率的场景如代码生成或数学问题求解。
• 利用 ES 的稀疏更新特性，设计更高效的后训练迭代，减少全参更新带来的资源消耗。
• 调整超参数，在大型模型上使用较小种群规模，降低内存与计算开销。

• ES 在不同规模模型、不同任务类型上的实际收益具体如何？
• GRPO-ES 顺序策略的最优切换时机与超参数设置尚未明确。
• ES 的功能稀疏性是否在真实场景中必然避免灾难性遗忘，仍需验证。
• 论文未提供开源代码或详细实验细节，结果的可复现性待评估。