依赖感知的可撤销解码：提升扩散大语言模型推理效率

针对扩散大语言模型（dLLMs）的推理效率问题，研究者提出一种名为DARD（依赖感知的可撤销解码）的无训练框架。该方法将令牌分为掩码、候选和未掩码三种状态，通过选择性上下文验证候选令牌，在不降低生成质量的前提下提升并行解码速度。在12个文本和多模态基准、3个开源dLLM上的实验显示，相比Saber方法，DARD实现2.71倍加速，并在Flickr30K上获得4.35分的CIDEr提升。

此前可撤销解码方法未考虑不可靠令牌对验证上下文本身的污染，导致早期错误影响后续生成。DARD首次识别这一失效模式，通过选择性上下文验证候选令牌，同时提升速度和生成质量，为dLLMs的实际部署提供了更优的帕累托前沿，可能推动该类模型在实时应用中的落地。

扩散模型通过迭代去噪并行解码多个令牌，但早期令牌错误会污染后续上下文。可撤销解码通过重新评估并遮蔽不可靠令牌来缓解，但现有方法忽略了不可靠令牌会污染验证上下文。DARD将令牌分为不同状态，在验证时排除低可靠性令牌，并自适应调节其影响，从而减少错误传播，在保证质量的前提下提高并行度。

DARD作为训练无关的推理优化方案，可直接集成到现有dLLM推理管线中，无需额外训练成本。它能在保持或提升生成质量的同时显著加速（2.71倍），并提升如图像描述等任务的表现（CIDEr +4.35）。这将降低推理延迟，改善实时交互体验，并可能减少计算资源消耗，对依赖生成式AI的产品有直接利好。

• 在图像描述生成产品中集成DARD，可提升CIDEr分数并降低延迟，提升用户体验。
• 将DARD封装为推理加速SDK，供内部或外部开发者集成，减少dLLM推理成本。
• 针对多模态dLLM应用（如文生图）优化，利用DARD的加速特性支持更高并发请求。
• 在现有dLLM推理服务中评估DARD对成本的影响，若显著减少GPU占用，可优化资源配置。

• DARD在真实业务场景中的鲁棒性如何？是否适用于不同领域或长文本生成任务？
• DARD对推理成本的实际影响（如GPU利用率、能耗）尚未公开数据。
• DARD在更多类型的dLLM（如更大规模模型）上的效果是否一致？
• Flickr30K之外的基准具体的质量提升程度未详细列出，需进一步分析。