面向智能体强化学习的依赖感知奖励塑形

论文提出 Dependency-Aware Reward Shaping（DARS），把任务进展表示为带前置依赖关系的谓词，由标注者标记每步验证、失效或修复了哪些谓词，再依据依赖图距离对已验证谓词打折、对独立谓词不打折，并将标注转换为带符号的每步奖励。在五个任务族、1.5B 至 8B 模型上，DARS 相较同预算同环境的 GiGPO 最高提升 10 个百分点成功率。

此前用终端成功/失败奖励训练 LLM 智能体时，失败回合中所有步骤的未来回报都为零，无法区分推进性步骤与无效步骤；DARS 让逐步信用与前置依赖挂钩，且不改变原有 rollout 策略和优化器，可插拔到既有训练流程。

DARS 将任务进度建模为谓词及前置依赖图，标注者标记每步对谓词的作用：验证的谓词按到最近被破坏前置条件的图距离打折，独立谓词不受影响，修复会依据残留错误更新权重，失效谓词需重新验证才能恢复信用；固定势函数把标注转为带符号的每步奖励，因此信用分配从只看终端结果转为沿依赖结构传播。

对训练智能体产品的团队，若已有 GiGPO、ARPO/AEPO 等流程，可在不改 rollout 与优化器的前提下接入统一的奖励与标注接口，用额外标注成本换取更高任务成功率；评估重点需同时覆盖工具调用、检索问答与多步推理等场景。

• 在现有智能体训练管线中接入 DARS 式奖励与标注接口，先在单任务族做同预算 A/B 对比验证收益。
• 为标注环节设计轻量工具，让标注者标记每步验证、失效或修复的谓词，降低数据生产成本。
• 在检索问答与工具调用等场景复现同预算下成功率提升，量化标注成本与训练收益的平衡点。
• 针对依赖图距离折扣与修复权重建立回归测试，避免奖励塑形改动后原有策略性能回退。

• DARS 的相对提升在不同模型规模与任务族间是否稳定，证据中未给出完整分项结果。
• 标注谓词依赖关系的成本与人工一致性如何，是否有自动化替代方案，证据未说明。
• 该方法与未在证据中列出的其他智能体训练方法的兼容性尚不明确。
• 从论文结果到生产环境部署的工程复杂度与稳定性风险未被证据覆盖。