加速缓解跨 GPU 架构的 LLM 推理非确定性

一篇 arXiv 论文指出，LLM 在贪婪解码下本应可复现，但同一模型、提示和软件栈在不同 GPU 上会输出不同结果，根源是浮点非结合性与硬件相关内核选择。作者提出固定配置的 fused-upcast GEMM 内核，把 16 位权重读入后升为 FP32 寄存器并用 IEEE-754 累加，归约顺序只取决于问题形状。在 NVIDIA Ampere、Ada、Hopper 上线性层输出逐位一致，端到端比现有方案快 1.17 至 3.1 倍，权重内存流量减半。

此前跨架构可复现性方案要么在不同 GPU 上仍存在舍入差异，要么以明显性能损失为代价。该工作把跨架构可复现性从“舍入差异低于翻转阈值”转为“正确执行 IEEE-754 算术”，并同时给出提速和减半权重流量的结果，改变了可复现性与性能之间的取舍关系。

不同 GPU 架构上推理框架会选择不同的矩阵乘法内核，其并行归约顺序和张量核算术未完全指定，浮点加法不满足结合律，微小的舍入差会翻转输出 token。该方案固定配置内核并按问题形状固定归约顺序，使每块 GPU 执行相同操作序列，因此设备、SM 数量和内核调度不再影响结果。

对需要在不同 GPU 上做一致性验证、回归对比或结果审计的产品，可减少因硬件差异导致的输出漂移和排查成本。权重内存流量减半和 1.17 至 3.1 倍端到端提速，可能降低显存占用与单位推理成本，但实际收益仍取决于模型规模、并行策略和部署框架的集成程度。

• 在自研或多 GPU 推理服务中试点该 GEMM 内核，用相同权重和提示做跨架构输出一致性回归测试。
• 将逐位一致的线性层输出作为评测与发布门槛，减少因 GPU 更换引起的输出漂移和用户投诉。
• 评估权重内存流量减半对显存受限部署场景的影响，测算可支持的并发数或模型规模上限。
• 面向需要可复现结果的合规、审计或科研场景，提供固定 GPU 架构配置的可复现推理选项。

• 该方案是否已被主流推理框架合并或提供可用的开源实现？
• 逐位一致是否覆盖注意力等其他算子，还是仅限线性层？
• 在张量并行、流水并行等分布式部署下是否仍保持跨架构可复现？
• 论文发布信息与代码、复现细节是否完整可查？