ARCHead：用于大语言模型输出头的激活度量残差校正

ARCHead 是一种针对 LLM 输出头（LM-head）的压缩方法，由 arXiv 论文提出。它结合量化低秩核心、分组 INT4 残差和低秩校正，将持久 LM-head 存储减少 3.7-3.9 倍。在 Qwen3-8B-Base 上，使用 25.6% 的 BF16 存储，相对困惑度达 1.007，优于朴素 INT4（1.14-1.16）。与 AWQ 或 bitsandbytes 结合，交叉熵仅增加 0.006-0.007，吞吐变化低于 2%。

此前权重量化常忽略 LM-head，或朴素量化导致词汇分布扰动。ARCHead 首次提供专用压缩方案，显著降低存储且保持低困惑度，解决部署中头部占存储的问题。

LM-head 的权重对词汇分布敏感，朴素 INT4 量化会引入较大误差。ARCHead 通过低秩核心提取主要信息，用分组 INT4 残差捕捉细节，并在激活度量下拟合低秩校正，以最小化实际激活误差，从而在低比特下保持输出质量。

该技术可减少模型部署时的显存占用，尤其在服务多模型或边缘设备时，能降低成本或提升并发。对推理速度影响小（<2%），适合作为现有量化工具的补充。

• 集成 ARCHead 到现有 LLM 推理服务中，替换 BF16 LM-head，降低显存占用。
• 评估在多模型场景下使用压缩头部以提升单卡模型部署数量。
• 在端侧设备上部署 Qwen3-8B 等模型时，采用 ARCHead 满足存储限制。

• ARCHead 在不同模型规模和架构上的泛化能力尚未验证。
• 压缩后的头部对微调或持续训练是否有影响未提及。
• 实际部署中其他硬件平台的吞吐变化是否一致未知。