SparseDecoding：面向解码感知的剪枝，实现准确高效的 LLM 推理

arXiv 论文提出 SparseDecoding，一种面向 LLM 解码阶段的剪枝框架。作者指出，现有基于 Hessian 的免训练逐层剪枝用预收集的自然序列计算 Hessian，而解码时模型输入自生成 token，两者存在分布偏移，导致生成时激活分布偏离剪枝依据，损害剪枝模型表现；同时现有方法主要加速 SpMM，对主导解码的 SpMV 支持有限。SparseDecoding 在算法侧用稠密模型自回归生成中逐层激活构建校准矩阵并排除 prefill，在系统侧开发带 bitmask 索引与固定步长遍历的 N:M 稀疏矩阵向量内核。

此前主流免训练剪枝把校准与推理视为同一分布，未区分 prefill 与解码，也较少针对解码主导的 SpMV 做内核优化。该工作把校准数据来源改为生成阶段激活，并配套稀疏向量内核，使剪枝目标与真实解码路径对齐，指向更准确的剪枝模型与更低的解码延迟。

解码阶段受内存带宽限制，延迟主要来自从内存读取非零参数，剪枝因此可减负载。但 Hessian 在自然序列上估计，而解码时输入是模型自生成 token，二者分布不一致，激活分布随之偏移，剪枝判据失准。SparseDecoding 只采集自回归生成中的逐层激活、排除 prefill，使校准矩阵贴近解码激活；系统侧用 bitmask 索引与固定步长遍历提升 N:M SpMV 效率。

对研发团队而言，可直接复用稠密模型解码阶段激活做剪枝校准，减少额外校准数据准备；N:M SpMV 内核若落地，有望降低解码延迟与显存带宽压力，提升单卡并发或长文本生成体验。产品侧可据此在相同硬件上部署更大模型或提高吞吐，但需自行验证精度与延迟收益。

• 在自身推理栈中对比 SparseDecoding 与现有 Hessian 剪枝，用解码阶段激活做校准，评估精度与延迟差异。
• 验证 bitmask 索引与固定步长遍历的 N:M SpMV 内核在自研推理引擎中的实际加速比与兼容性。
• 针对长输出、低并发等解码主导场景优先试点，评估吞吐与单请求延迟收益，再决定是否扩展到 prefill 路径。
• 将解码感知校准纳入模型压缩流水线，形成从校准采集、剪枝到稀疏内核部署的可复用工具链。

• SparseDecoding 在具体模型规模、任务与硬件上的精度与延迟收益幅度未在证据中给出。
• N:M 稀疏矩阵向量内核的加速效果是否可迁移到不同 GPU 架构与推理框架尚不明确。
• 排除 prefill 激活后，校准矩阵是否仍覆盖多轮对话等复杂解码分布，证据未说明。
• 该方法与量化、KV cache 优化等其他推理加速手段叠加时的兼容性与收益未知。