从检索上下文到运行时控制：面向边缘RAG的自适应压缩

论文提出边缘RAG的遥测感知自适应压缩方案。在NVIDIA Jetson AGX Thor上实验，显示生成占RAG预算约90%延迟和91%GPU能耗；压缩率存在自适应区间，中等压缩可降低GPU能耗53.2%、SoC能耗48.2%，且质量损失可忽略。

此前压缩率固定或离线选择，忽视设备负载变化。该研究首次表明边缘压缩本身有成本，且存在性能拐点，推动动态压缩策略成为边缘AI研究方向。

RAG检索会增加提示长度，提升计算与存储开销。压缩可减少生成前处理，但压缩器自身也占用边缘SoC资源。实验显示压缩率需权衡能耗与推理质量，中间值最优，因此需根据实时设备状态动态调整。

边缘RAG产品可借压缩节省高达53%GPU能耗，延长设备续航。但需开发运行时监控与调节模块，并验证不同模型和应用下的质量影响，以避免过度压缩损害用户体验。

• 开发边缘RAG的能耗监控工具，实时采集GPU和SoC能耗数据。
• 设计压缩率动态调整策略，按设备负载和查询类型自动选择。
• 在Jetson等平台集成该方案，构建自适应压缩参考实现。
• 针对不同生成模型和数据集基准化压缩率与质量损失。

• 压缩对实际问答质量的具体影响尚未量化。
• 压缩器本身的延迟和能耗消耗具体比例未知。
• 动态策略在多变工作负载下的鲁棒性未验证。