面向 LLM Agent 的双轴策略优化：贝叶斯反馈归因与轨迹质量归一化

该论文提出 BATON，一个面向 LLM Agent 的双轴策略优化框架，将强化学习优化拆为轨迹内反馈归因与轨迹间目标聚合两个维度。前者用贝叶斯反馈归因构建以反馈为条件的后验，后者用 Trajectory Mass Normalization 让完整轨迹获得相同优化权重。在 GRPO 与 GiGPO 上配合 ALFWorld、WebShop、SearchQA 实验显示，两轴各自带来独立增益，组合后在各模型规模上整体表现最强。

此前 LLM Agent 的强化学习多把反馈利用与轨迹聚合混在一个优化目标中处理。该工作把两者显式拆成可独立改进的两个轴，并在多个基准和模型规模上验证增益可叠加，提示 Agent 后训练存在被忽视的独立优化空间。

轨迹内维度关注单条轨迹中环境反馈如何在采样动作间分配信用，BATON 用贝叶斯方法形成反馈条件下的动作后验；轨迹间维度关注一个 batch 中不同长度或质量轨迹如何加权，TMN 给每条完整轨迹相同优化质量，避免长轨迹或高分段轨迹主导梯度。两轴解耦后可分别替换与组合。

对做 Agent 产品的团队，这意味着后训练流程可拆成反馈归因与轨迹聚合两个可独立调参的模块，便于复用现有 GRPO、GiGPO 等训练管线，降低因轨迹长度不均带来的优化偏差，但实际收益仍取决于自有任务分布与基准的匹配程度。

• 在自有 Agent 任务上复现 BATON，先单独验证贝叶斯反馈归因是否优于原反馈信号处理方式。
• 把轨迹质量归一化作为独立组件接入现有 GRPO 训练流程，测试长轨迹任务中梯度是否更稳定。
• 针对客服、检索或网页操作类场景，建立轨迹级评估集以判断两轴增益是否可迁移。

• BATON 在 ALFWorld、WebShop、SearchQA 之外的真实业务任务上是否同样有效？
• 贝叶斯反馈归因带来的额外计算与实现复杂度是否可接受？
• 该框架对奖励稀疏或反馈噪声较大的环境是否稳健？
• 论文是否公开代码、超参与复现所需训练配置？