贪心解码并非精度不变：LLM 推理中的跨精度输出分歧

一篇 arXiv 论文指出，贪心解码常被视为确定性过程，但同一模型、提示和解码算法在相同硬件上使用 BF16 与 FP16 会产生不同输出。在六个模型（1.1B-7B，四个家族，另在 12B 上做分歧刻画）和三个基准上，49%-100% 的提示出现分歧，单个 token 翻转常级联为轨迹级分歧。

此前业界普遍把贪心解码当作可复现的确定性基线，用于评测、回归测试和一致性校验。该研究证明输出会随数值精度改变，意味着跨精度或跨环境比较模型行为时，原有确定性假设可能不成立，相关测试与部署结论需要重新审视。

作者做了误差传播分析：22 层累积的 body 误差不足以区分翻转与非翻转步骤，结果主要取决于 LM head 处 top-two logit margin 相对于 top-two 候选之间方向性扰动的相对大小。据此提出五条可测试预测，其中一条是使用更多 FP32 计算反而降低一致性，实验全部吻合。

对低 batch（≤4）单流推理，选择性 FP32 LM head 重算——仅在 margin 低于阈值时触发——在 A10G 上带来 +22-36 个百分点精确一致率，L4 和 A100 上 +12-21 个百分点，延迟开销低于 4%。这是一种部分缓解，当 body 来源误差占主导时收益消失，因此不能作为通用确定性保证。

• 在推理服务中加入基于 top-two logit margin 阈值的选择性 FP32 LM head 重算，用于对一致性敏感的场景。
• 对评测与回归测试流程区分精度配置，避免把 BF16 与 FP16 的输出差异误判为模型行为变化。
• 记录并公开每个模型的精度—批大小适用边界，作为部署选型和 SLA 说明的一部分。

• 训练时的精度稳定性是否确实是决定跨精度分歧程度的关键因素，证据仅给出假设。
• 在更大模型、更多 batch size 和不同硬件上，选择性 FP32 重算的收益与延迟开销如何变化。
• 当 body 来源误差占主导时，是否存在其他可行的缓解手段，证据未说明。
• 该方法是否适用于采样解码或其他非贪心解码算法，尚未验证。