比特与记忆：LLM量化中逐字提取的测量研究

一项新研究直接测量了语言模型在量化（从全精度到4比特）下逐字提取训练数据的能力，使用Pythia模型和已知被记忆的序列。结果表明量化具有选择性遗忘效果——记忆下降快于能力下降，但不足以成为隐私防御。在最大模型中，4比特量化仍能复现大部分记忆序列，仅损失少量能力。研究认为压缩不能移除记忆数据，提取风险才是关键。

此前研究主要用成员推理评估量化对隐私的影响，并暗示量化可降低隐私风险。本研究直接测量逐字提取，发现量化并不能有效移除记忆数据，尤其在大模型中4比特量化仍可复现大部分内容。这挑战了量化的隐私保护效果，提示从业者应关注提取风险而非成员推理。

量化通过降低权重精度引入信息损失，导致部分记忆数据无法恢复（选择性遗忘）。但大型模型参数冗余更多，记忆数据更鲁棒，因此量化后仍能保留。能力（困惑度）下降慢于记忆下降，但缺口不足以消除隐私风险，因为记忆的绝对数量仍很高。

使用量化部署LLM的产品团队不能将量化视为隐私保护手段。若模型训练数据包含敏感信息，即使采用4比特量化，仍存在训练数据被逐字提取的风险。产品需额外集成差分隐私、数据去重或遗忘学习等防护措施，且应在模型卡中披露提取风险评估结果。

• 开发针对量化模型的逐字提取攻击工具，供产品上线前进行安全评估。
• 在量化流程中集成记忆检测与抑制技术，例如基于困惑度的过滤或噪声注入。
• 为高隐私合规场景（如医疗、金融）设计更低比特或结合剪枝的定制化量化方案，以最大限度降低记忆留存。
• 推出量化模型隐私标识服务，在模型卡中公开提取风险指标，辅助客户决策。

• 该发现是否在Llama、Qwen等其他主流开源模型及不同训练数据上一致？
• 更低比特（如2比特、1比特）量化是否可能完全消除记忆，或者会严重损害能力？
• 是否存在量化与差分隐私训练结合的有效方案，能在保持能力的同时彻底防止提取？
• 选择不同量化算法（如GPTQ、AWQ）对记忆留存的具体影响是否有差异？