DTDD：基于分歧触发的动态蒸馏，用于可靠的在策略监督

论文提出 DTDD，一种自适应在策略蒸馏（OPD）框架：以分段级学生—教师分歧作为触发信号，在训练中启动教师接管。教师生成恢复后缀，学生通过行为克隆学习。研究在长程推理、无离线 SFT 的基座初始化蒸馏、多轮智能体三类场景中评估。结果显示，预热后峰值梯度范数降低 8.6 倍；从基座初始化出发，用 2.6 倍更少的优化器更新达到 21.3% 留出集数学准确率，两法最终都接近 22%；在 ALFWorld 上结合 LoRA 和 agentic code，最好观测性能分别提升 4.8 和 4.1 个百分点。消融显示分段平均触发优于 token 尖峰触发，行为克隆优于所测的 OPD 替代方案。

此前在策略蒸馏依赖学生自身轨迹上的密集 token 监督，一旦学生与教师分歧过大或长程任务误差累积，监督信号会失真。DTDD 把分歧本身变成干预条件，并区分前缀监督与接管后恢复段的学习方式，使训练稳定性与样本效率同时改善，且无需离线 SFT 即可从基座起步。

机制上，DTDD 用分段级学生—教师分歧判断是否触发教师接管：触发后，学生已生成的前缀继续接受标准 OPD 监督，教师补生成恢复后缀，学生对这些教师 token 以交叉熵做行为克隆。消融表明分段平均的触发比 token 尖峰更稳健，行为克隆比所测 OPD 替代方案更适合教师生成恢复段。

对研发团队，这意味着长程推理与多轮智能体训练可在更少优化更新与更平稳的梯度下达到相近效果，并降低对离线 SFT 数据的依赖。工程上需增加分歧度量、分段触发阈值与教师接管路径，以及教师恢复 token 的行为克隆损失；调参重点从全局蒸馏系数转向触发粒度与接管率。

• 在多轮工具调用智能体训练中接入触发式教师接管，优先在误差易累积的长程任务上验证稳定性收益。
• 针对无 SFT 基座初始化场景，评估用 DTDD 替代离线监督微调以缩短冷启动训练周期。
• 实现分段平均分歧触发器作为训练框架的可插拔组件，便于与现有 OPD 训练流程对比接管率与梯度范数。
• 在消融基础上建立触发粒度、接管率与恢复段长度的内部基准，用于选择低成本高收益的配置。

• 摘要截断处提到“教师实质性……”的条件未完整给出，接管在何种教师质量条件下才有效尚不明确。
• 三类评估场景之外的任务类型（如非工具型长文本生成）是否同样受益，证据未覆盖。
• 8.6 倍梯度范数下降与 4.8/4.1 个百分点提升的具体实验规模、基线配置与统计显著性未在证据中给出。
• 分段平均触发优于 token 尖峰触发的原因与适用边界，证据仅给出结论未给解释。