My FAULT：将自我诊断作为信用分配机制用于自演化智能体强化学习

该论文指出，智能体强化学习在长周期任务中依赖终端结果奖励，会带来两个信用分配问题：同一结果的多条轨迹缺乏学习信号，终端奖励只能给出整条轨迹的反馈，难以定位致错步骤。作者提出 Self-Diagnosis-guided Terminal Credit Redistribution（FAULT），把诊断出的错误转化为以终端结果为锚的显式步骤级信用。在 ALFWorld 上，FAULT 将同结果组的学习信号覆盖率提升至 95%，高于 GRPO 的 41% 和 GiGPO 的 72%，并更好地定位到具体错误步骤；在两个模型规模上，FAULT 在长周期 ALFWorld 与 WebShop 上有提升，在短周期搜索类问答上保持竞争力。

此前方法多依赖终端奖励或自然语言反思，前者粒度太粗，后者的错误判断不可靠且无法量化各错误对学习的影响。FAULT 的实质变化是把自然语言诊断转成步骤级信用，并从任务结果在线学习错误的相对代价，从而在同结果轨迹组中恢复学习信号，并更准确地定位致错决策。

FAULT 先让自我诊断器检查诊断证据，再依据任务结果学习各错误的相对代价，把诊断出的错误转换为步骤级信用，并以终端结果作为锚定。训练过程中策略与自我诊断器共同演化，错误代价根据近期结果在线更新，使自然语言诊断不再是直接优化信号，而是被结果校准后的信用重分配依据。

对做智能体训练或多步任务自动化的团队，FAULT 意味着在长周期任务中不必完全依赖稀疏的终端奖励，可把失败归因到具体步骤并用于策略更新。这可能降低对人工标注中间步骤的依赖，提高长周期任务训练的信号密度，同时要求系统记录更细的轨迹与诊断证据。

• 在长周期智能体任务中引入步骤级错误定位日志，用于训练信号回收与失败复盘。
• 评估将自然语言反思作为诊断输入、但以任务结果校准其权重的训练流程。
• 针对同结果轨迹组较多的业务场景，测试用诊断重分配替代纯终端奖励策略。
• 在短周期任务上保留原奖励方案，仅对长周期任务试点 FAULT 式信用重分配。

• FAULT 在 ALFWorld 与 WebShop 之外的长周期任务上是否同样有效，证据未覆盖。
• 自我诊断器与策略共同演化时，诊断错误率如何随时间变化，证据未说明。
• 错误代价在线更新在真实生产环境中的稳定性与计算开销，证据未涉及。
• 相比 GRPO 和 GiGPO，FAULT 在短周期任务上保持竞争力的具体数值未给出。