SHARPO：面向智能体强化学习的片段级信用分配

arXiv 上的一篇论文提出 SHARPO，一种面向智能体强化学习的信用分配机制。现有方法用轨迹级奖励指导决策，但单点局部错误会导致任务失败，信用难以细分。SHARPO 受 on-policy self-distillation 启发，按面向环境的片段计算教师与学生对数概率差，用其生成有界乘数修正 GRPO 优势值，片段内所有 token 共享该乘数。在 Qwen2.5-7B-Instruct 上，SHARPO 于 ALFWorld 和 WebShop 两个基准上超过 GRPO、SDAR、RLSD、StepOPSD 等基线。

此前智能体 RL 多依赖轨迹级奖励做信用分配，反馈粒度粗，难以定位长多步交互中导致失败的具体决策。SHARPO 把信用分配下推到片段级，并直接复用 GRPO 优势值，属于对现有主流优化流程的改造而非替换，因此更易被已有训练管线采纳，也为片段级反馈的粒度选择提供了新比较点。

SHARPO 借鉴 on-policy self-distillation：在同一策略的教师与学生分布之间计算片段内对数概率差，将该差异转成有界乘数，乘到 GRPO 的优势上。乘数在片段内所有 token 间共享，因此不同片段可获得不同信用权重。这种设计把局部错误对全局优势的影响限制在片段范围内，使优势估计更贴近具体环境交互步骤的贡献。

对做智能体训练的产品与研发团队，该方法可作为一种训练侧优化插入已有 GRPO 流程，无需更换优化器即可改变信用分配粒度，可能提升长多步任务的成功率与训练稳定性。若效果可复现，团队可减少对昂贵轨迹级奖励工程和人工标注的依赖，但需评估额外教师前向计算带来的训练成本。

• 在多步工具调用或网页操作类智能体训练中，试点将 GRPO 的优势乘上片段级有界权重，对比任务成功率变化。
• 围绕 ALFWorld、WebShop 之外的自有环境，复现 SHARPO 并测量局部错误场景下的收敛速度与稳定性。
• 将片段级信用信号接入训练监控面板，用于定位失败片段并指导环境与奖励设计。

• SHARPO 在更大规模模型和其他智能体基准上的表现是否仍优于 GRPO 等基线，证据尚未覆盖。
• 教师与学生对数概率差引入的额外计算开销有多大，论文摘要未给出。
• 有界乘数的取值范围与超参数如何设定、对结果是否敏感，尚不明确。
• 该方法是否适用于非文本或多模态的智能体环境，没有证据支持。