更低重构损失反而有害：面向低比特 LLM 量化的分布鲁棒细化

这篇 arXiv 论文指出，权重-only 训练后量化（PTQ）过度依赖重构损失最小化来保持低精度模型质量。作者发现，在标定数据上重构损失更低的权重，未必在新任务上表现更好，甚至在同一标定数据上也会导致性能下降，原因是输入激活分布变化时这些权重损失反而更高。为此提出 Distributionally Robust Quantization（DRQ），在受限的输入激活分布集合上最小化最坏情况重构损失，仅细化既有量化网格内的整数编码，不改变量化参数和推理算子。实验表明 DRQ 可提升 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法量化后的模型，在密集和 MoE 大模型上均有效，且不增加推理开销。

此前低比特 PTQ 普遍把重构损失当作代理指标进行优化，但该论文给出反例，说明这一目标与下游任务表现并不一致，且在激活分布偏移时会失效。这动摇了量化校准环节的既有假设，提示需要以鲁棒性而非平均重构误差来筛选权重。

重构损失在标定分布上最小化，会倾向选择对该分布过拟合的权重；当实际输入激活分布与标定时不同，这些权重的损失可能高于其他候选。DRQ 因此把优化目标从单点分布上的平均损失，改为在受限分布集合上的最坏情况损失，仅调整整数编码以保持算子和量化参数不变，从而在推理零额外开销下提升泛化。

对做端侧或低成本部署的团队，这意味着不必更换推理算子或量化参数，就能在现有 PTQ 流程后追加一步细化，提升低比特模型的真实任务表现。研发上可在校准流程中引入分布扰动与最坏情况目标，替换单纯以重构损失早停或选参的做法，降低上线后精度回退的风险。

• 在现有 AWQ、GPTQ 量化流水线后接入 DRQ 式后处理模块，作为可选细化步骤验证下游任务增益。
• 构建以激活分布扰动为输入的校准评估工具，用于比较不同 PTQ 配置的鲁棒性而非单一重构损失。
• 针对 MoE 与密集模型分别建立基准，验证同一套细化流程在两类结构上的收益差异。
• 将最坏情况重构损失作为量化选参指标，替代或补充现有平均重构损失早停策略。

• DRQ 在极低比特（如 2-bit、3-bit）下的增益幅度与稳定性如何。
• 分布集合的约束范围如何设定，是否需要针对不同任务或硬件做调参。
• 除 AWQ、GPTQ、ParoQuant 外，对其他 PTQ 方法与量化粒度的兼容性是否一致。
• 论文尚未给出与实际部署延迟、内存占用相关的完整实测数据。