边缘端视觉语言模型推理能耗特征研究

这篇论文测量了Qwen2-VL-2B-Instruct及其纯文本版本在Raspberry Pi 5（配Hailo-10H NPU）和Jetson Orin Nano Super上的总系统能耗、延迟与热行为，分别测试CPU与加速器路径，并把每次请求的固定能耗与随输出长度增长的能耗分离。作者说明因量化与部署软件不同，比较的是部署栈而非芯片本身。

此前关于VLM推理成本的讨论多集中在云端GPU，边缘单板机上的能耗结构缺乏实测数据。该研究把能耗拆成固定部分与随输出长度增长的部分，并给出两种加速路径的交叉点，使边缘部署的成本判断有了可比较的量化依据。

NPU卸载降低每生成token能耗，机制在于专用加速器承担主要计算、主机CPU保持空闲，同时避免CPU后端持续负载引发的热降频。图像输入同时带来固定能耗与每token能耗增量，但在常见回复长度下，生成答案的能耗远高于处理图像。Jetson GPU单次请求固定成本低，适合短回复；Pi NPU每输出token成本低，适合长回复，两条能耗曲线在约40个输出token处交叉。

对边缘视觉产品而言，推理能耗的主要变量是输出长度而非图像处理，因此控制回复长度、选择与预期输出规模匹配的加速方案，直接影响续航与散热设计。使用NPU卸载可显著降低每token能耗并缓解降频，纯文本与多模态版本在同一硬件上的能耗差异需要纳入选型评估。

• 在边缘硬件选型时，按典型输出token数选择方案，短回复偏Jetson GPU、长回复偏Pi NPU，并以约40 token为分界做基准测试
• 为边缘VLM产品设置输出长度上限或摘要策略，以降低占主导的生成阶段能耗
• 将NPU卸载作为缓解持续负载下热降频的部署选项，纳入散热与续航设计评审
• 建立覆盖总系统能耗、延迟与热行为的边缘VLM部署栈基准，横向比较不同量化与服务软件组合

• 该结论是否能推广到Qwen2-VL-2B-Instruct之外的其他VLM与模型规模
• 不同量化与serving软件组合对能耗结果的影响有多大，证据中未分离
• 40个输出token的能耗交叉点是否随任务类型、图像分辨率或批处理方式变化
• 长期运行下的热与能耗表现是否与本文的测量时长一致