AngelSpec：面向现实高效推理的推测解码统一框架

AngelSpec 是一个针对大语言模型推理的统一训练框架，解决了单一推测解码结构无法在所有现实工作负载下表现最佳的问题。该框架采用三种策略：在训练层面，分别为 MTP（自回归多词预测）和块并行扩散推测解码定制训练数据，前者使用多样化对话数据，后者使用代码与数学数据；在架构层面，提出 DFly 块扩散框架，结合混合目标条件主干与前件条件自回归头；在推理层面，将验证视为共享批量资源，根据负载动态调整验证深度。实验表明该框架提升了平均接受长度。

此前研究者通常为模型固定一种推测解码结构，而 AngelSpec 证明不存在普适最优方案，并首次提出按领域（聊天 vs 代码/数学）自动适配 drafter 类型和验证深度的工程方法，这直接改变了推理引擎针对不同任务优化策略的边界。

推测解码通过小模型草稿加速大模型推理，但 MTP 适合高熵开放对话（输出分布多样），块并行扩散适合低熵长连续输出（如代码补全）。AngelSpec 在训练层分离数据以优化各自能力，在架构层通过 DFly 改进特征利用和块内依赖建模，在推理层用成本模型实时调整验证粒度，从而在多种负载中以更低计算成本获得更高加速比。

对于基于自注意力的大模型推理产品（如 API 服务或本地推理引擎），AngelSpec 提供了一个可参考的框架来动态选择草稿模型和验证策略，可能降低 30%-50% 的推理延迟或同等延迟下支持更大批量。实现该框架需修改模型训练流程和推理调度器，但无需改变模型架构本身。

• 在 vLLM 或 TensorRT-LLM 等推理框架中实现 AngelSpec 的领域感知 drafter 切换逻辑，为不同请求类型（聊天、代码生成）自动选择最优草稿结构
• 基于 DFly 架构开发支持动态验证深度调整的推理中间件，根据实时 GPU 负载和请求长度分配验证预算
• 收集用户请求的输出熵分布作为特征，训练一个轻量级分类器来预测采用 MTP 还是块并行扩散的性价比

• AngelSpec 的统一训练框架在多大程度上能适配现有的开源大模型（如 LLaMA、Mistral）？是否需要重新预训练 drafter？
• 论文中的 Hy3 系列实验是否公开？在非代码/数学领域（如多轮对话、长文档摘要）上的加速比是否一致？
• DFly 的块扩散生成是否引入了额外的显存占用或批处理复杂度？对资源受限的端侧部署是否可行？
• AngelSpec 的训练流程是否有开源代码或可复现的配置？