SERO：从可执行 Oracle 延续中学习长时程智能体强化学习

一篇 arXiv 论文提出 SERO（State-Rooted Executable Rollout Optimization），把训练时才可用的 oracle 接入真实环境中，从当前策略实际到达的状态继续执行，并将产生的观测与 oracle 动作直接作为训练轨迹；同时提出 policy-reachability weighting，按冻结行为策略与前序 oracle 动作的兼容度对每个 oracle 步骤加权。该方法与基础 RL 估计器分开优化，推理时不使用 oracle。作者在 ALFWorld 和 WebShop 上用 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 进行了评测。

长时程智能体 RL 的瓶颈在于训练只覆盖当前策略走过的未来；此前 on-policy distillation 及其多轮变体主要改进教师指导的调度、回放、精炼或校验，而没有把 oracle 控制的未来本身当作训练轨迹。SERO 直接把可执行 oracle 延续纳入学习信号，改变了监督数据的来源方式，并尝试解决未访问状态无法获得监督的问题。

机制是：先恢复当前策略真实到达的状态，再由训练专用 oracle 在真实环境中继续交互，使后续观测和 oracle 动作成为可学习目标；policy-reachability weighting 用冻结行为策略对前序 oracle 动作的兼容度加权，随着策略与 oracle 分支更兼容，更深层的监督才更有效。oracle 损失与基础 RL 估计器分开优化，推理阶段不依赖 oracle，因此不引入部署时的额外依赖。

对做智能体训练的产品与研发团队，这意味着可以在不改变推理路径的前提下，用训练期 oracle 补齐长时程任务中的稀疏监督，降低对大量成功 rollout 的依赖。落地时需要维护可执行 oracle、状态恢复机制和权重计算，并验证 oracle 分支与当前策略的兼容度是否稳定，成本主要在训练侧而非推理侧。

• 在 ALFWorld 类交互任务中搭建 SERO 式训练流水线，用训练期 oracle 补充长时程轨迹监督。
• 为现有 on-policy distillation 流程增加可执行 oracle 延续模块，作为可选监督分支进行 A/B 评测。
• 把 policy-reachability weighting 做成可配置训练组件，便于按策略兼容度调节深层监督强度。
• 在 WebShop 类任务上验证 oracle 分支对训练效率与最终策略表现的影响，再决定是否产品化。

• 论文摘要未给出 ALFWorld 与 WebShop 上的完整量化结果，SERO 相对基线的具体提升幅度尚不明确。
• 训练专用 oracle 的获取方式、成本与可迁移性在证据中未说明。
• policy-reachability weighting 在策略与 oracle 分支差异较大时的稳定性尚未确认。
• 7B 以外规模或其他模型家族上的泛化表现未被证据覆盖。