将树结构投机解码适配到 DeepSeek-V4 以提升推理效率

一篇 arXiv 论文把树结构投机解码接入 DeepSeek-V4-Flash 的推理流程。由于 DeepSeek-V4 的 CSA/HCA 在线压缩注意力会让同前缀分支压缩成不同状态，作者引入分支感知因果验证、临时状态隔离与接受路径状态刷新来保持跨分支一致。在 D=5 至 D=8、批大小 1 至 64 以及 GSM8K、MBPP、ShareGPT 三个数据集上，接受长度均高于对应线性配置，吞吐最高提升约 18.5%。

以往投机解码多采用线性单链候选，覆盖范围有限。该工作显示在压缩注意力架构上，树结构投机仍可通过验证与状态管理改造落地，并在多数配置下把接受长度和吞吐同时推高，说明推理加速的优化空间从采样策略延伸到目标模型验证侧。

树结构投机在相同预算下从共享前缀展开多条分支，覆盖更多候选，从而提高接受长度。难点在于 DeepSeek-V4 的压缩注意力会把同一前缀的不同分支压成不同状态，破坏跨分支一致性。论文用分支感知因果验证、临时状态隔离和接受路径状态刷新，使验证与压缩状态更新在各分支间保持一致。

对部署 DeepSeek-V4 的团队，该方法提供了一条在不大改模型的前提下压低单次请求延迟的路径，尤其适合小到中批量的可预测性较低负载。收益随预算增大而上升，但超过一定预算后吞吐进入平台期，与仍在上涨的接受长度脱钩，因此调参需以吞吐而非接受长度为优化目标。

• 在自建 DeepSeek-V4-Flash 推理服务上灰度测试树结构投机，按 D=5 至 D=8 对照现有线性方案测量吞吐与延迟。
• 把预算 D 与批大小作为可配置参数暴露给服务层，依据负载可预测性动态切换线性与树结构策略。
• 在推理框架中沉淀分支感知验证与临时状态隔离的实现，用于其他采用压缩注意力的模型适配。
• 针对可预测性较低的小中批量业务场景优先上线该方案，避免在超大预算区间继续加码。

• 论文尚未披露在 DeepSeek-V4 非 Flash 版本或其他压缩注意力模型上的可迁移性。
• 吞吐达到平台期的具体预算阈值与对应批大小区间未被明确给出。
• 树结构投机带来的显存占用与实现复杂度成本尚未量化。
• 该方法目前仅见于单一 arXiv 信源，缺少独立复现或工程落地验证。