回到定义：用轨迹图估计智能体强化学习中的步骤级优势

一篇 arXiv 论文指出，GRPO 等组内归一化优势估计在响应层面可靠，但在步骤层面存在系统性偏差，因为轨迹级优势难以反映单个步骤的贡献，失败轨迹中也可能包含有价值步骤。作者据此提出 GRAFT 框架，把多条 rollout 轨迹拼接成轨迹图，通过图上的 Bellman 迭代恢复节点状态值，并以节点值差为每条边分配信用，同时提出 Graph GAE 以降低状态值估计偏差的影响。

此前多轮智能体强化学习多沿用 GRPO 等轨迹级信用分配方式，难以区分同一条轨迹中哪一步真正有效。该工作把优势估计从轨迹层下移到步骤层，并声称在理论上符合强化学习对优势的基本定义，为失败轨迹中有效步骤的利用提供了新的处理路径。

GRPO 在单轮任务上有效，是因为从同一状态采样多个动作后取平均奖励，可作为可信的状态值估计。要在步骤层保持同样估计，需要对每个中间状态多次采样，成本过高。GRAFT 改为复用已有 rollout 轨迹，把重叠状态合并进轨迹图，用 Bellman 迭代在图上传播并计算节点状态值，再用相邻节点值差定义边的步骤级优势；Graph GAE 则把 GAE 扩展到该图上以抑制状态值估计偏差。

对做智能体训练或多轮任务微调的团队，该方法提示信用分配粒度可以从整条轨迹细化到单步，从而更充分利用失败轨迹中的有效步骤。其价值取决于轨迹图构建与 Bellman 迭代的额外计算开销是否可控，以及能否在现有 RL 训练管线中复用已有 rollout 而不显著增加采样成本。

• 在现有 GRPO 训练管线中增加轨迹图构建模块，复用已有 rollout 计算步骤级优势，评估失败轨迹可被再利用的比例。
• 针对多轮工具调用或代码修复类智能体任务，对比轨迹级与步骤级信用分配在同等采样预算下的收敛速度。
• 将 Graph GAE 实现为可插拔组件，在小规模多轮任务上验证其对状态值估计偏差的实际抑制效果。

• 论文实验覆盖哪些多轮智能体任务与基线，步骤级优势是否带来稳定的性能提升？
• 轨迹图构建与 Bellman 迭代的额外计算和时间开销有多大，是否可扩展到长轨迹？
• GRAFT 与 Graph GAE 的代码或实现是否已公开，能否直接复现？
• 在状态空间巨大或轨迹重叠稀少的任务中，图上状态值估计是否仍然可靠？