分离式量化：面向 LLM 预填充与解码阶段的专用化方案

该论文提出分离式量化（DQ），针对 prefill 与 decode 两个阶段分别定制计算格式、权重与存储位置。在 Qwen 3 与 Gemma 3 上，仅对 decode 去除激活量化即可提升解码密集任务准确率且不增加推理成本；为 decode 单独训练 compute-native prefill 权重后，可加速 prompt 处理并在 2-3 比特解码下匹配或超过仅权重量化。基于已发布的 Qwen3.8-27B GGUF 解码器训练 NVFP4 prefiller，在 MMLU-Pro 与 MMMU-Pro 上分别提升 32.5 和 35.3 个百分点，且不修改原解码检查点。

此前量化通常对 prefill 与 decode 采用统一方案，两个阶段对精度与访存的诉求被折中处理。该工作把二者拆开，使解码阶段保留更高激活精度而预填充走低精度计算，并在 8K 提示长度下取得 1.78 倍首 token 延迟加速，说明分阶段量化可在不换模型的前提下同时改善质量与延迟。

prefill 计算密集、受益于低精度算术，decode 受限于权重访存、受益于紧凑权重，两者最优量化策略并不一致。DQ 分别指定计算格式、权重与存储位置：decode 侧移除激活量化以保精度，prefill 侧训练独立 compute-native 权重加速提示处理；ODP 从 SSD 流式加载额外检查点，把加载开销按提示长度摊薄，从而在单卡上容纳两套权重。

对采用 GGUF、llama.cpp 与 vLLM 推理栈的团队，这意味着可在不改动已有解码检查点的前提下叠加专用 prefiller 提升质量，并以 SSD 卸载方式在单卡部署双检查点，直接拉低长提示场景的首 token 延迟。研发侧需要维护分阶段的权重与量化格式，部署流程需支持检查点分离与流式加载。

• 为已有 GGUF 量化模型的客户提供独立训练与挂载 NVFP4 prefiller 的增量服务，无需更换解码检查点。
• 在 llama.cpp 或 vLLM 部署工具中增加 ODP 式 SSD 流式加载配置项，用于单卡容纳 prefill 与 decode 双检查点。
• 围绕长提示（8K 以上）场景，将首 token 延迟作为卖点打包推理方案，并给出与仅权重量化基线的对照数据。
• 针对解码密集任务，提供关闭 decode 激活量化的量化配置档位，作为准确率优先的可选项。

• 32.5 与 35.3 个百分点的提升基于 1-bit 解码这一极端低精度设置，在 4-bit 等常见精度下增益幅度是否同样显著。
• ODP 的 1.78 倍首 token 加速在 8K 提示长度下测得，更短或更长提示及不同 SSD 硬件下是否仍成立。
• vLLM 中分离式服务下的准确率评测结果与 llama.cpp 实现之间是否一致，尚无横向对比数据。
• 在最高 2.8T 参数模型上验证的是共享权重格式分离，是否已包含独立 prefiller 训练与 ODP 的完整流程。