复制还是不复制：用模型内在信号控制投机解码

该论文指出，Speculative Decoding 现有两类草稿策略存在取舍：EAGLE3 等神经草稿在多种文本上表现稳健，而基于复制的草稿在复制密集型场景更快。作者发现复制类方法易把表面 n-gram 重叠误判为复制意图，产生假阳性，拉低吞吐。为此提出 SwitchSD，通过训练轻量探针读取目标模型内部表示，以 AUC 大于 0.99 的精度识别真实复制意图，在 Llama 和 Qwen 系列上相比 EAGLE3 最高提升 15% 吞吐。

此前投机解码的加速策略多在神经草稿与上下文复制之间做静态权衡，复制触发依赖表层 n-gram 匹配，容易误判。该工作把复制意图作为模型内部潜变量来识别，使解码路线可以按真实意图动态切换，意味着吞吐优化从外部启发式规则转向模型自身信号驱动，对推理加速方案的设计思路构成实质调整。

机制上，SwitchSD 在目标模型的内部表示上训练轻量探针，判别当前上下文是否具有结构性复制意图，而非仅看表面 n-gram 重叠。探针给出信号后，系统在神经草稿（如 EAGLE）和基于上下文的复制之间动态切换，在复制密集型场景利用长重复跨度获得近乎完美的推测，在其他场景回退到稳健的神经草稿，从而减少假阳性触发的无效复制并提升整体吞吐。

对推理服务与产品研发的直接影响是：可以在不改变目标模型权重的前提下，为现有投机解码链路增加一个轻量意图判别模块，按输入类型动态选择草稿策略。这有助于降低复制密集型任务（如代码、引用、模板文本）的推理成本，并减少因误触发复制而造成的吞吐抖动；但探针训练与集成会带来额外工程与维护成本。

• 在推理服务中为 EAGLE 类投机解码链路集成基于内部表示的复制意图探针，用于动态切换草稿策略。
• 针对代码、长引用、模板文本等复制密集型业务场景，优先试点该方案并对比 EAGLE3 的吞吐与延迟。
• 将探针判别信号产品化为可配置路由开关，按请求类型或租户策略控制复制与神经草稿的切换。
• 围绕轻量探针的训练与在线更新，建立面向目标模型内部表示的监控与再训练流程。

• 该论文的 AUC 大于 0.99 与最高 15% 吞吐提升是否经过独立复现或同行评审确认？
• SwitchSD 在 Llama 和 Qwen 之外的其他模型家族上是否同样有效，尚无证据。
• 探针训练所需的内部表示访问在真实生产推理栈中的集成成本与延迟开销未说明。
• 在不同 batch size、并发和硬件条件下，15% 吞吐提升是否稳定尚未确认。