MileGPO：基于局部证据的里程碑推断，用于长程LLM代理的图策略优化

MileGPO是一个用于长程LLM代理的图策略优化方法，通过里程碑推断和局部证据解决信用分配问题。它包含里程碑发现、可靠性校准塑形和进度对比校准三个设计，无需辅助模型或额外环境交互。在ALFWorld和WebShop上取得最先进性能，且在分布外泛化上表现良好。

此前方法通过步骤分组或图优势估计细化轨迹级信号，可能忽略有意义的中间里程碑。MileGPO通过里程碑发现和可靠性加权，利用同状态分支证据解决模糊的中间信用分配，在无需额外模型或环境交互的情况下提升性能，并有良好的分布外泛化能力。

MileGPO从分组的在策略rollout中推导过程级信用。里程碑发现识别成功轨迹上的候选里程碑和失败轨迹上的重复陷阱；可靠性校准塑形按结果置信度加权，强化可靠里程碑并降低不确定项权重；进度对比校准测试候选是否反映局部进度，并比较同一状态的传入转换与替代方案。这些设计结合解决模糊的中间信用分配。

MileGPO可提升长程LLM代理（如自动化任务执行、Web导航）的训练效率和性能，减少对人工中间标注的依赖，可能降低训练成本并增强对分布外场景的适应。但具体影响需结合应用场景。

• 在基于LLM的自动化操作或Web导航产品中，集成MileGPO以优化代理策略，提升任务成功率。
• 利用MileGPO的信用分配能力，开发更鲁棒的Agent训练框架，减少中间标注需求。
• 在涉及长程决策的AI产品（如智能助手或Robotic流程自动化）中，评估MileGPO的分布外泛化能力。

• MileGPO在实际生产环境中的计算开销和部署难度？
• 在超出ALFWorld和WebShop的复杂任务上，MileGPO性能如何？
• 方法对里程碑发现的可解释性是否足以指导产品调优？