Lightning Weave：通过能力组合改进推理模型的准确率与效率前沿

该论文提出后训练框架 Lightning Weave，通过 on-policy distillation 将多个独立后训练模型各自获得的准确率与效率能力，组合进单一学生模型。方法用后训练前后的策略偏移表示每项能力，在共享 token 状态上合并对齐的 log-ratio 偏移，并用 Tilted-Target DOPD 转为稳定学习目标。在 Qwen3.5-4B 上，HMMT 2025 准确率从 59.2% 升至 64.0%，响应 token 减少 10.7%；LiveCodeBench v5 从 41.7% 升至 54.2%，token 减少 9.6%。

此前提升推理准确率与降低推理 token 往往相互牵制，独立后训练出的模型也各偏一端。该工作声称能在单一学生模型中同时吸收两类能力，并在数学与代码基准上同时改善准确率和 token 用量，给出了可调节的准确率-效率帕累托前沿，而非只优化单一指标。

机制上，它不合并模型权重，而是把每个专家相对后训练前模型的策略偏移当作可缓存信号，在共同学生 token 状态上对齐并合并这些 log-ratio 偏移，再用 Tilted-Target DOPD 把缓存信号转成稳定训练目标。每个锚点对只需对缓存轨迹打分一次，因此后续学生训练不必同时在线服务多个锚点模型，降低了组合成本。

若方法可复现，团队可以用一个较小的学生模型承载多个专家能力，在同等准确率下减少生成 token，直接降低推理算力与延迟成本；同时通过调节锚点信号强度，按业务场景在准确率和成本之间取舍。代码尚未发布，短期影响限于方法参考，落地需先验证复现与跨模型泛化。

• 在数学解题、代码生成等高 token 场景中，用小模型加 Lightning Weave 复现实验，对比同准确率下的 token 成本与延迟。
• 将锚点能力按业务拆分，例如分别来自高准确率专家和高效率专家，训练可调档的学生模型以匹配不同服务水平。
• 利用缓存轨迹只需打一次分的特性，搭建离线能力组合流水线，减少多模型同时在线推理的部署开销。
• 在自有评测集上验证 HMMT 与 LiveCodeBench 之外的迁移效果，再决定是否纳入模型迭代流程。

• Lightning Weave 在非 Qwen3.5-4B 的其他学生模型和中文任务上是否同样有效，证据未覆盖。
• 论文提到代码将很快发布，目前无法核实实现细节与可复现性。
• 组合能力时是否存在能力冲突或遗忘，证据未给出负向结果。
• 准确率与 token 同时改善是否在不同解码设置和推理预算下稳定成立，尚未确认。