PACE：面向快速VLM推理的统一压缩-提取范式

论文提出了一种名为PACE的训练免费推理框架，通过统一的Condense-and-Extract范式加速视觉语言模型（VLM）的推理。PACE在Condense阶段使用自适应像素压缩器，在编码前评估信息密度并自适应降采样，减少编码器计算量；在Extract阶段使用动态双注意力提取器，结合内部视觉信号与LLM语义信号筛选关键视觉令牌。集成到Qwen2.5-VL-7B后，仅使用10%的视觉令牌，保留了93.8%的性能，并实现了3.1倍的TTFT加速。代码已开源，项目地址为github.com/jjL357/PACE。

此前视觉令牌剪枝方法多在视觉编码器之后操作，未能优化视觉编码阶段的延迟，且在严格的令牌预算下难以同时保留整体上下文和细节。PACE在编码前就进行压缩，并利用双重信号提取，显著降低了推理延迟，同时保持了高性能，为VLM的高效部署提供了新路径。

PACE采用训练免费的推理框架，通过像素级自适应压缩器在视觉编码前评估信息密度，对冗余输入进行自适应降采样，从而减少编码器计算。随后提取阶段利用动态双注意力机制，融合视觉编码器的内部信号与LLM的语义信号，选择性地保留关键视觉令牌，确保任务关键细节不丢失。这种两阶段联合优化在减少计算的同时保持了模型性能。

对于使用VLM的产品，PACE可在不重新训练模型的情况下，将视觉令牌使用量降低至10%，TTFT加速3.1倍，显著降低推理延迟和计算成本，提升用户体验。开发者可将其集成到现有VLM推理流程中，快速提升响应速度，适用于实时交互场景。

• 为现有VLM产品集成PACE推理框架，通过减少视觉令牌数量和压缩编码阶段，实现推理加速，无需模型重训。
• 在需要低时延的视觉问答应用中，部署PACE以改善首令牌时间，提升用户交互流畅度。
• 将PACE作为可选推理优化策略，面向使用Qwen2.5-VL-7B等模型的开发者提供插件或服务。

• PACE在Qwen2.5-VL-7B之外的其他VLM上效果如何，尚未有公开证据。
• PACE对复杂视觉任务（如细粒度图像理解）的性能影响仅通过93.8%性能保留率体现，未涵盖所有场景。
• PACE带来的3.1倍加速基于特定硬件和模型，实际部署中因环境差异可能达不到该数值。