从可行失败前缀中学习：面向长程 LLM agent 的里程碑可行性潜力策略优化

一篇 arXiv 论文提出 MVPO 算法，针对长程 LLM agent 在稀疏延迟奖励下出现的 zero-credit failure：早期大量失败 rollout 中含有可用前缀，但 GRPO、GiGPO 等 group-based 方法因比较回报无差异而无法分配优势。MVPO 用 Union-Find 可行性区域估计前缀潜力，以潜力差优势修复零信用组。

此前 GRPO、GiGPO 这类 group-based 方法依赖 rollout 回报或重复锚点状态的比较来分配信用，一旦组内回报无差异就完全失效，导致早期失败轨迹中的有效前缀被浪费。MVPO 把信用分配从结果比较转向前缀潜力估计，正面处理了这一被忽视的失效模式。

MVPO 在 Union-Find 构建的可行性区域上估计前缀潜力，用潜力差构造优势来修复零信用组，并根据相对性能进展衰减潜力分支。这样失败前缀不再是纯负样本，而能按其在可行性区域中的位置获得区分性信号，同时控制潜力信号在训练后期的权重。

对做 agent 产品的团队，训练数据利用率和长程任务成功率可能提升：论文报告在相同训练长度下，ALFWorld 较 GiGPO 提升 4.4 成功点，WebShop 提升 5.3，优势构造额外开销仅 0.16%-0.20%，说明该改进对训练成本影响较小。

• 在自家长程 agent 训练管线中复现 MVPO，与现有 GRPO 或 GiGPO 基线在相同训练长度下做 A/B 对比
• 针对失败轨迹占比高的任务，建立前缀可行性标注或估计流程，把失败 rollout 转为可用训练信号
• 评估潜力分支衰减策略在不同训练阶段和不同任务上的稳定性，确定上线阈值

• 证据仅覆盖 Qwen2.5-1.5B-Instruct，MVPO 在更大模型和其他模型族上的效果未知
• ALFWorld 与 WebShop 之外的通用 agent 任务是否同样有效尚未验证
• 论文未说明 Union-Find 可行性区域构建的额外计算与工程复杂度
• 该方法是仅限论文实验，还是已有开源实现或可复现代码未在证据中说明