语言智能体行动与预测的协同演化训练方法

一篇 arXiv 论文提出让语言智能体同时学习行动与预测，在成功轨迹上训练策略骨干生成后续动作序列，并对每段历史的前瞻动作进行监督，形成时间集成。在 ALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorld 五个基准上，聚合表现优于 GRPO 等基线，ScienceWorld 上样本效率最高达 ECHO 的 1.9 倍、GRPO 的 2.0 倍。

此前语言智能体强化学习多依赖末端单一标量奖励，中间步骤监督利用不足；价值目标受同一标量信号限制，观测目标则长且嘈杂且仅前瞻一步。该工作引入多步动作目标，把中间监督转成可训练信号，且推理时仍单步行动、无额外开销。

方法在成功的同策略轨迹上，让共享策略骨干既学习生成每个历史之后的动作序列，又对由前序历史预测的动作进行监督，形成时间集成；骨干在训练中吸收这些多尺度信号，使行动与预测相互促进。推理阶段不改变单步决策结构，因此不增加部署成本。

对智能体产品研发而言，若该结论可复现，可用更少交互样本达到相近性能，直接压缩长程 rollout 的算力与时间成本；单一策略骨干也降低训练和部署的工程复杂度，适合将智能体能力迭代周期缩短。

• 在客服、网页操作等长程任务中，用多步动作预测辅助目标替代纯末端奖励，降低样本采集成本。
• 将多步动作监督接入现有 GRPO 或 RL 训练管线，复用同一策略骨干，减少额外模型开销。
• 优先在 ScienceWorld 类可模拟环境中验证样本效率增益，再迁移到真实业务环境。
• 围绕长程 rollout 成本高的场景，评估以该训练方式压缩人工标注与在线交互预算的可行性。

• 论文在真实应用场景的绝对性能提升幅度未在证据中给出。
• 多步动作目标的构造是否需要成功轨迹，失败轨迹能否利用尚不明确。
• 证据仅来自单一 arXiv 摘要，尚无独立复现或第三方评测确认。
• 推理无额外开销的说法未说明训练阶段算力增加的具体幅度。