在学生状态上学习教师的续写

论文提出 OLIVE（OnLine InterVEntion）蒸馏方法：每一轮由不断演进的学生策略生成新前缀，教师对该前缀自回归续写，再用教师生成的 token 计算交叉熵更新学生。作者称在相同 GPU 小时预算下，OLIVE 的推理表现优于采用 top-16 KL 近似的 OPD，异步实现使总训练时间再降 23.8%，在 ScienceWorld 上仅用 GPT-5.4-mini 的文本持续训练即比同一教师的离线 SFT 高 13%。

既有蒸馏多依赖固定的教师轨迹或 token 级在线监督，学生一旦偏离前缀，监督就会碎片化或出现序列协变量偏移。OLIVE 改为在学生当前状态上让教师续写，并只需教师文本、不需教师 token 概率，降低了数据与接口依赖，也报告了离线蒸馏进入平台期后仍能继续提升。

机制是把监督位置从教师轨迹搬到学生自己生成的前缀上：学生产生分布内的状态，教师在该状态给出后续 token，交叉熵只作用于教师续写部分。这样既避免离线 SFT 的序列协变量偏移，也避免 token 级 OPD 在前缀失败时的监督碎片化，同时绕开分布匹配方法对教师 logits 的访问需求；异步实现则把学生生成与教师续写解耦以节省时间。

对做垂直模型或小模型后训练的团队，该方法提示可以用教师 API 的纯文本输出替代 logits 接口来构建在线蒸馏管线，减少对教师内部概率的依赖；异步设计若可复现，则同等 GPU 预算下可压缩训练时长，或在相同时间内扩大迭代轮数，但需评估教师调用成本与吞吐瓶颈。

• 在自有小模型的推理任务上复现 OLIVE 与离线 SFT 的对比，先用固定教师文本验证 13% 类提升是否可迁移。
• 评估把现有 SFT 数据管线改造为学生生成前缀、教师续写的在线循环，测算教师调用成本与 GPU 小时的替换比。
• 若教师只提供文本接口，可优先接入 OLIVE 式流程，避免为获取 token 概率而改造服务端。
• 对 agentic 任务单独做小规模消融，确认在线蒸馏在长链路任务中是否保持优势。

• OLIVE 在 ScienceWorld 上 13% 的提升是否能在其他任务和教师模型上复现？
• 异步实现带来的 23.8% 训练时间下降对显存、教师调用并发有何具体要求？
• 该方法是否需要教师与学生共享同一 tokenizer 或词表？
• 论文未说明与 GPT-5.4-mini 之外教师模型配合时的表现差异。