低精度 Transformer 推理中的随机舍入：小型 GPT-2 的变精度仿真研究

该论文研究低精度 Transformer 推理中该用随机舍入还是就近舍入，结论取决于网络中的位置。作者把 PRISM 向量化舍入库扩展到任意虚拟精度，固定数值格式、只改变单个算子的舍入规则。在 DistilGPT-2、有效位为 6 比特时，MLP 内用随机舍入的困惑度是满精度参考的 1.15 倍，就近舍入为 2.21 倍；但在语言模型头上，两种舍入的优劣顺序反转。

此前低精度推理通常把舍入规则当作全局统一的选择，该工作把问题细化到具体算子位置，并给出理论解释与实测对照。它说明同一舍入规则在 MLP 和输出头上可能产生相反效果，意味着低精度部署的优化空间不在“选哪个规则”，而在“在哪些位置用哪个规则”。

对线性投影的前向误差分析显示，随机舍入的误差包络随归约长度 n 以 O(√n·u) 增长，就近舍入为 O(n·u)，低精度下差距迅速扩大，在较长的 MLP 下投影中最为明显。对输出 softmax 的交叉熵损失做二阶分解后可见，MLP 噪声主要表现为对 logits 的整体平移，而 softmax 对该平移不敏感，因此随机舍入的方差被大幅折抵；输出头的噪声在不同词表项上不均匀，无法被同样折抵。

对做低精度推理或量化部署的团队，这意味着可以按算子位置做差异化舍入配置，而不是全局统一，从而在相同比特预算下降低困惑度损失。同时，评估量化方案时需分别测量骨干层与输出头的误差贡献，否则可能掩盖某一侧的退化。

• 在推理或量化框架中加入按算子位置配置舍入规则的接口，并默认对 MLP 类长归约层启用随机舍入。
• 将输出头单独排除在随机舍入之外或单独标定，作为量化流水线中的一个可配置开关。
• 针对不同模型与比特宽度，建立位置级舍入策略的自动化搜索或回归测试基准。

• 证据只截取到输出头处结论反转的片段，输出头两种舍入的具体数值结果未知。
• 结论基于 DistilGPT-2 与 6 比特有效位，是否适用于更大模型、其他精度与更多架构尚不明确。
• 变精度随机舍入在真实硬件上的额外计算或延迟开销未在证据中说明。
• 除困惑度外的下游任务指标是否同样呈现该位置依赖的优劣反转，证据未覆盖。