匹配分布而非算力：后训练多 token 预测头

该论文研究在冻结的推理模型上，用轻量后训练替代与主干联合预训练的多 token 预测（MTP）头。在冻结的 Qwen3-8B 上，仅用约 2.5B token 的普通交叉熵后训练，其 K=3 链式 MTP 头在数学、代码和知识基准上达到或超过联合训练的 MiMo-7B 的预期加速，所用 MTP 训练 token 比联合预训练少 10^3 至 10^4 倍。

此前 MiMo-7B、DeepSeek-V3、Qwen3 等公开 MTP 方案都在数万亿 token 的完整预训练中联合训练草稿头，草稿质量被锁定在预训练阶段。该工作显示冻结模型仅需极少量后训练即可追平，改变了对 MTP 训练成本与介入时机的既有假设。

MTP 通过一次前向起草多个后续 token 并用验证步骤保持主干 token 分布，从而提升吞吐。作者认为关键不是投入与预训练同量级的算力，而是让草稿头匹配目标分布，因此在目标模型自生成的思维链上做后训练即可对齐分布。放宽验证规则允许有界漂移，可进一步提高加速。

若结论成立，产品团队可在不重训基座的前提下为已有推理模型加装 MTP 加速，显著降低草稿头训练数据量与算力开销。推理服务可结合动态启用头数的自适应控制器，在保持任务准确率的同时回收部分加速损失，直接改善单位推理成本与响应速度。

• 对已上线的自研或开源推理模型，尝试用少量领域思维链数据后训练 MTP 头，评估吞吐提升是否可复现。
• 在推理服务中实现按请求难度动态选择 MTP 头数量的控制器，并将有界分布漂移纳入精度监控指标。
• 在数学、代码等高价值场景优先试点 MTP 后训练，用 A/B 测试验证加速与准确率的实际权衡。

• 论文摘要被截断，自适应控制器恢复 11%–14% 损失的具体指标与实验设置未完整披露。
• 后训练 MTP 方案在非 Qwen3-8B 的其他模型规模或架构上是否同样成立尚不明确。
• 有界分布漂移的放宽验证规则在长文本或高风险任务中的准确率风险尚未验证。
• 10^3–10^4 倍 token 节省是与 MiMo-7B 联合预训练基线的对比，跨家族可比性需进一步确认。