CorrGRPO：面向多奖励学习的相关性归一化 GRPO

arXiv 论文提出 CorrGRPO。GRPO 在多奖励训练中把各奖励分量求和后按组内标准差归一化，其方差等于所有成对奖励协方差之和，因此大尺度相关奖励会主导归一化并压制小尺度奖励信号。CorrGRPO 将成对协方差归一化为 Pearson 相关系数，保持中心化总奖励不变，同时让不同尺度奖励对归一化的影响更均衡，使优势幅度随奖励相关性自适应。作者在代码生成、工具调用和 agent security 上，用 0.5B 至 8B 模型与 GRPO 及其他变体比较，称三个领域均有提升，代码已开源。

此前 GRPO 在多奖励场景下按总奖励的标准差归一化，大尺度奖励的协方差会主导分母，导致小尺度奖励的梯度信号被压制。CorrGRPO 把协方差换成不受尺度影响的 Pearson 相关系数，使优势更新只反映奖励之间的相关结构，而非奖励的绝对尺度，这为多奖励权重设计提供了新的归一化路径。

GRPO 在组内对同一 prompt 的多个 rollout 做中心化和归一化来计算优势。多奖励时，总奖励的组内方差等于所有成对奖励协方差之和：协方差越大，优势越小。问题在于协方差同时受相关性和奖励尺度影响，大尺度奖励会主导分母。CorrGRPO 先将每个成对协方差除以两者标准差，得到无量纲的 Pearson 相关系数，再据此归一化；中心化总奖励保持不变，因此不同尺度奖励对归一化的贡献更均衡，优势幅度仍随奖励相关性变化。

对做多奖励后训练或 RLHF 的团队，CorrGRPO 提供了一种无需重新设计奖励尺度即可平衡多目标信号的归一化方案，可直接替换 GRPO 的归一化步骤，降低奖励权重的调参成本。开源代码和 0.5B 至 8B 的对比结果，使中小规模团队也能在代码生成、工具调用和 agent 安全等任务上复现并做消融。

• 在多奖励后训练流水线中用 CorrGRPO 替换 GRPO 归一化，先在小规模模型上验证奖励尺度不敏感带来的调参成本下降。
• 针对代码生成与工具调用等已有多个可量化奖励的场景，做 CorrGRPO 与奖励权重网格搜索的对照实验，确认是否减少权重调优工作量。
• 基于开源代码封装成可配置的多奖励归一化模块，接入现有 RL 训练框架，支持按奖励对切换协方差或相关系数归一化。
• 在 agent security 任务上评估 CorrGRPO 对安全奖励与能力奖励权衡的影响，判断能否缓解某一奖励被压制的问题。

• CorrGRPO 在三个领域的具体提升幅度和统计显著性未在摘要中给出，需要查看论文正文的完整对比数据。
• 当奖励之间高度相关或近似不相关时，Pearson 相关系数归一化是否存在数值不稳定或除零风险，摘要未说明。
• 0.5B 至 8B 之外的更大规模模型上，CorrGRPO 是否仍保持相对 GRPO 的优势，证据未覆盖。
• 在奖励数量较多时，成对相关系数归一化的计算开销相对 GRPO 增加多少，缺少效率数据。