TRCA：长程 LLM 智能体的转换级标准信用分配方法

arXiv 发布论文提出 TRCA 方法，用于长程 LLM 智能体的细粒度奖励分配。TRCA 直接基于动作引起的转换，利用证据、执行和无效性评审生成步骤级奖励，无需学习评估器或成功轨迹。在 ALFWorld、WebShop 及七个搜索问答基准上，TRCA 相较基线有一致提升，如 WebShop 分数提升 6.0%-12.6%。

长程任务中仅稀疏的终端奖励难以指导多步交互，现有方法依赖学习型过程评估器或成功轨迹，早期强化学习中成功样本稀缺。TRCA 无需这些额外依赖，直接从转换中提取步骤级奖励，降低了成本和难度，并在多个基准上显著提升性能，使长程智能体训练更可行。

TRCA 通过三个评审标准评估每一步转换：证据获取、执行有效性和无效/回退行为，据此生成基础标准奖励和突破标准奖励，分别衡量局部质量和增量进展。结合终端结果，得到细粒度步骤级优势信号，用于策略优化，从而在没有学习评估器或成功轨迹的情况下实现有效信用分配。

对产品研发，可降低训练长程 LLM 智能体的数据需求（无需大量成功轨迹）和推理成本（无需过程评估器），加速迭代。应用领域包括自动化助手、复杂任务执行（如网络购物、搜索问答），可能提升最终任务完成率，减少开发壁垒。

• 将 TRCA 集成到长程任务型智能体的强化学习训练流程中，降低对成功轨迹的需求，加速模型收敛。
• 在电商导购（WebShop 类）或多轮搜索问答产品中，用 TRCA 替换过程奖励模型，减少推理成本并提升任务成功率。
• 基于 TRCA 的转换级奖励信号，开发可解释的步骤级反馈机制，用于调试长程智能体的失误行为。
• 将 TRCA 应用于内部 AI 代理工具（如自动化办公、代码生成）的强化学习训练，以提升多步骤任务完成质量。

• TRCA 在除 ALFWorld、WebShop 和 SearchQA 之外的真实产品环境中的泛化能力未知。
• TRCA 对超参数（如评审阈值）的敏感度及调参成本未在证据中说明。
• TRCA 是否适用于多模态或决策型长程任务（如机器人控制）尚未验证。
• 方法在超长轨迹（如数百步）上的计算开销和稳定性未公开。