QATFactory：面向大模型量化感知训练与蒸馏的部署对齐框架

arXiv 上一项工作提出开源框架 QATFactory，用于部署对齐的量化感知蒸馏（QAD）与强化学习（QARL）。它在 BF16 下模拟部署时的量化，使模型无需原生支持目标格式的训练硬件即可适应量化噪声，例如在无 FP4 Tensor Core 的 H100 上训练 NVFP4。框架支持 NVFP4、MXFP4、llama.cpp 的 Q4_K，覆盖稠密与 MoE 模型、全参数与 LoRA 训练，并可直接导出到 vLLM 与 llama.cpp。

此前量化多依赖训练后量化（PTQ），激进压缩会损伤模型质量；该工作把量化感知训练与蒸馏、强化学习结合，并让训练结果直接落到生产推理引擎，减少转换环节，实验显示部署后质量优于强 PTQ 基线。

其机制是在训练时模拟部署端的量化行为，但矩阵乘法仍以 BF16 执行，从而在不具备目标低精度算力的硬件上复现量化误差，让模型参数主动适配这种噪声；同时导出时不做额外的有损转换，避免精度二次损失和推理开销增加。

对研发团队而言，可在现有 H100 等硬件上完成低精度适配训练，并直接导出到 vLLM、llama.cpp 上线，省去单独的低精度训练卡与转换流程，有利于降低量化部署门槛和工程成本。

• 在自有模型上对比 QAD 导出 checkpoint 与现有 PTQ 流水线的部署精度，评估替换可行性。
• 将 QATFactory 接入 vLLM 或 llama.cpp 推理链路，验证导出后是否无需额外转换与推理开销。
• 针对 MoE 模型和 LoRA 微调场景做小规模试点，确认框架对现有训练流程的兼容性。

• QAD 与 QARL 在 8B 至 230B 之外模型上的效果是否稳定，证据尚未覆盖。
• NVFP4 与 MXFP4 的最优训练策略为何格式相关，原文未给出完整结论。
• 在非 H100 的其他硬件上，模拟量化的训练成本与收益如何，证据不足。
• 导出到 vLLM 与 llama.cpp 后的实际吞吐与延迟收益缺少量化数据。