QuantiBias：量化引入的大语言模型偏见基准测试

QuantiBias 基准测试发现，大语言模型经过量化压缩后，虽然在标准安全测试中表现正常，但在开放问答中约24%-27%的回答包含刻板印象，且此偏见在八种语言中均存在。该偏见无法被现有安全评估检测，且在不同模型家族中表现不一致。

此前业界认为量化对模型安全无害，但本研究表明量化会在开放生成中引入可测量的偏见，而标准安全评估毫无察觉。这意味着当前部署的许多量化模型可能比预想中更具偏见，需要重新评估其安全性。

量化压缩时，额外精度被分配给携带能力信号而非偏见预防信号的数据，导致模型在开放生成时更易表达刻板印象；使用推理链（reasoning）可将部分模型家族的效应减半，但对其他家族无效，说明机制因模型架构而异。

量化模型在标准拒答、过拒和选择题测试中均通过安全检验，但在实际开放对话中可能输出更多偏见内容，影响品牌声誉和用户信任；模型发布前需增加开放生成偏见专项测试，否则可能造成不良社会影响。

• 开发量化模型的开放生成偏见检测工具，集成到模型上线前的自动评估流程
• 在量化流程后增加基于推理链的偏见缓解微调，针对特定模型家族优化
• 设计量化版本专用的多语言偏见预防数据集，弥补精度分配中的偏差信号缺失
• 为量化模型提供可选的推理链借口，在不增加推理成本的前提下减少开放回答中的偏见

• 开放生成偏见是否随量化压缩率提高而持续加剧，还是存在平台期？
• 不同模型家族（如Qwen和Gemma）对推理链缓解效果差异的根本原因是什么？
• 量化后偏见增加程度是否受模型原始偏见水平或训练数据分布影响？
• 当前偏见度量依赖的独立评判（judge）在评分一致性上是否足够可靠？