ODYSSE：面向个性化代理推理的逐集策略优化

论文提出了ODYSSE框架，用于个性化代理推理。核心是Episode-wise GRPO（ESPO），通过逐集奖励机制和优势估计，解决长动作序列与跨步骤依赖问题，使代理能逐步解析模糊用户请求。在长时个性化GUI推理任务上，该框架取得了一致改进。

此前代理系统在处理模糊、个性化需求时效果有限，ODYSSE首次将强化微调与逐集优化结合，在长时程GUI任务上展示了优于现有方法的效果，为人机交互中的个性化服务提供了新路径。

ESPO在组相对策略优化（GRPO）基础上引入逐级奖励和逐级优势估计，而非独立优化每步动作。同时配合逐集批采样器，使同集动作统一学习，从而实现上游证据引导下游决策，逐步解决模糊请求。

若该框架落地，将直接影响需要长期人机协同的GUI自动化产品（如浏览器助手、RPA工具），提升其对用户偏好的理解和长期任务的完成质量。但当前仅见于论文实验，尚无集成或商业化信息。

• 开发能理解用户个性化偏好的智能浏览器插件，自动完成网页操作流程。
• 在企业RPA工具中集成基于ODYSSE的推理引擎，提升复用性和用户适配性。
• 构建可自定义GUI代理的SaaS产品，允许用户通过演示而非显式指令定义工作流。

• ODYSSE在真实复杂场景下的表现是否如论文实验一致？
• 框架训练数据需求和计算成本如何（相比传统方法）？
• 是否开源或提供预训练模型？当前仅见于学术论文。
• 除GUI推理外，是否适用于其他人机交互场景（如客服对话、设备控制）？