从Token到瓦时：现代GPU上LLM推理的分析性能耗估算

该论文提出一种针对NVIDIA H100 GPU的LLM推理能耗分析估算方法，无需直接运行时测量。它结合参数缩放FLOP计算、校准内存流量因子和硬件能耗系数，明确区分提示预填充与自回归解码阶段，并将总能耗分解为计算、参数访问、KV缓存写入和注意力读取组件，支持模型比较与绿色编码分析。

此前LLM推理能耗估算依赖硬件遥测或基础设施监控，难以在早期系统设计或对比研究中应用。本方法无需专用仪表，即可提供透明、可复现的能耗近似，填补了设计阶段能耗评估的空白。

估算器基于已知的模型参数规模、Transformer FLOP计数、内存访问模式，并针对H100的FP16/BF16张量核与高带宽内存校准能耗系数。通过分离预填充和解码阶段，并分解计算、参数访问、KV缓存写入、注意力读取的子能耗，实现可解释的能耗推演。

产品团队可在无硬件功耗测量条件下，在模型选型或推理部署设计阶段估算不同模型大小、上下文长度和生成Token数的能耗，从而调整推理配置（如批量大小、精度）以降低能耗成本，并支撑绿色云服务报告。

• 在AI部署平台中集成该估算器，为每个推理请求提供能耗预测标签
• 开发模型选型工具，按给定任务所需的推理能效排序候选模型
• 为云服务提供能耗仪表盘，基于估算值向客户展示绿色AI指标
• 在LLM微调或推理优化过程中，将能耗估算纳入基准测试流程

• 该方法对非H100 GPU（如A100、AMD MI300）的校准系数是否可用？
• 实际物理测量与估算值的平均误差范围是多少？
• 是否考虑了GPU动态电压频率调整（DVFS）或散热状态的影响？
• 该方法能否扩展到多GPU并行推理或模型并行场景？