2:4 稀疏是否仍值得？LLM 推理解构稀疏与量化的对比

该 arXiv 论文比较了 LLM 推理中等比特条件下增加 2:4 半结构化稀疏与降低量化精度的取舍。作者在三种 GPU 世代上测量 transformer 层全部六个 GEMM 算子，计入稀疏元数据，并涵盖在线剪枝与量化。结论是只要还有更低精度可选，加 2:4 稀疏在精度和速度上都更差；量化触底后，2:4 仍可加速线性层 1.3–1.7 倍。H100 上经重训练的 2:4 模型以 FP8 由 vLLM 服务，prefill 吞吐比稠密 FP8 高 27%，GSM8K 持平。

以往 2:4 稀疏常被视为与量化叠加的免费加速手段；该研究在等比特、计入元数据、跨三代 GPU 的条件下给出相反权衡：有更低精度时优先量化，稀疏须靠重训练才可能追回质量，且 Blackwell 的稀疏 FP4 损失更大、未能在给定预算内恢复。

2:4 沿硬件强制轴每四个元素丢弃两个，被丢弃部分携带的能量不随比特下降而缩小；量化误差则随精度降低而变小。因此等比特下，量化通常比稀疏更保精度。只有当量化已到硬件最低精度时，2:4 才凭张量核稀疏路径带来线性层加速，但质量需重训练恢复，且困惑度先于推理能力恢复。

推理部署的默认优化顺序应改为先降量化精度、再考虑 2:4 稀疏；若已处最低精度，可评估 2:4 加 FP8 服务以提升 prefill 吞吐，但需把重训练成本、推理能力回归测试和 Blackwell 上的额外损失纳入评估。

• 在 H100 等已支持最低精度的推理集群上，对线性层密集的模型做 2:4 重训练加 FP8 服务试点，以 prefill 吞吐和 GSM8K 为验收指标。
• 在模型压缩流水线中把“先量化、后稀疏”设为默认决策规则，并计入稀疏元数据的实际比特开销。
• 为 2:4 重训练模型建立分阶段评测门槛，要求困惑度与推理任务同时达标后才上线。

• 在更多模型规模和任务上，2:4 加 FP8 的 27% prefill 吞吐提升是否可复现？
• Blackwell 的稀疏 FP4 4:8 模式需要多大重训练预算才能恢复质量？
• 该结论是否适用于解码阶段而不仅是 prefill 吞吐？