突破 LLM 推理中在线策略自蒸馏的扩展性限制

该论文对在线策略自蒸馏（OPSD）进行因子分析，发现脚手架正确性对下游准确率的影响大于上下文正确性；未验证脚手架会造成模仿差距，且该差距随模型规模缩小，但 OPSD 仍主要监督未验证轨迹。作者提出 OASIS，仅用最终答案标签监督已验证的在线策略轨迹，并让教师以模型自生成尝试替代书面解答作为上下文。在 Qwen3-1.7B、4B、8B 及 AIME 2024、AIME 2025、HMMT 2025 上，OASIS 平均提升 3.2–3.8 分，而 OPSD 的增益从 1.7B 的 3.05 分降至 8B 的 0.14 分。

此前 OPSD 在模型规模变大时增益明显衰减，8B 上几乎失效。该工作指出问题出在监督对象是未验证轨迹，而非自蒸馏范式本身，并证明改用已验证轨迹可在扩展后保持效果，为大规模模型的推理训练提供替代路径。

标准 OPSD 让教师基于参考解等特权上下文，去监督学生自己采样但未经核实的轨迹，教师掌握学生无法获得的信息，形成模仿差距。作者将脚手架正确性与上下文正确性分离后发现，脚手架是否已验证是主导因素，因此 OASIS 保留原目标，但改为主要监督已按标签验证的在线策略轨迹，同时把教师上下文换成模型自生成的尝试，从而只依赖最终答案标签。

若该结论成立，团队可用更廉价、易获取的最终答案标签替代高成本书面解答标注，同时把训练算力集中到已验证轨迹上，降低数据标注成本并提升大模型推理微调的稳定性，尤其利好已进入 8B 及以上规模、面临蒸馏增益衰减的研发流程。

• 在推理微调数据管线中增加轨迹验证环节，优先保留最终答案正确的在线策略轨迹用于蒸馏监督。
• 将教师上下文从人工书面解答改为学生自生成尝试，减少对参考解的依赖并降低标注成本。
• 对 8B 及以上模型建立 OPSD 与 OASIS 的对照评测，验证增益衰减是否可被已验证轨迹逆转。
• 在 AIME、HMMT 之外补充自有业务评测集，检验 OASIS 增益能否迁移到目标场景。

• OASIS 在 Qwen3 之外的模型家族上是否同样有效，证据未覆盖。
• 该方法在数学推理之外的任务，如代码生成或工具调用，是否仍保持优势，尚未验证。
• 论文仅给出平均提升，未披露各数据集与各规模下的逐项结果与方差。
• 已验证轨迹的筛选成本与训练总成本之间的权衡未被量化。