TReVS：融合文本相关性与视觉显著性的视觉语言模型Token剪枝

一篇 arXiv 论文提出 TReVS，一种无需训练的视觉语言模型视觉 token 剪枝框架。它指出两阶段剪枝中第一阶段仅依赖视觉编码器显著性，可能过早删除与查询相关的 token；实证显示引入查询引导可保留任务相关证据，且高方差注意力头对文本查询更敏感。在 LLaVA-1.5-7B 上，TReVS 在剪掉 94.4% 视觉 token 时仍保留未剪枝基线 92.8% 的性能，超过此前最优方法。

此前的两阶段剪枝把第一阶段完全交给视觉显著性，容易误删查询相关视觉证据，导致后续文本引导阶段缺乏关键信息。TReVS 把查询信息提前注入第一阶段，并改用高方差注意力头筛选浅层到中层 token，在极高剪枝率下仍保持较高性能，改变了剪枝流程的默认假设。

视觉 token 数量大是 VLM 推理成本的主要来源。两阶段剪枝先去除视觉冗余再去除与文本无关的 token，但第一阶段若只看视觉显著性，可能把查询相关 token 提前删掉。论文发现高方差注意力头对文本查询更敏感，其文本到视觉的注意力信号更具区分度，因此用这些头在 LLM 浅层到中层做第二阶段剪枝，从而在降低推理成本的同时保住任务相关证据。

对部署 VLM 的产品团队，这意味着在几乎不重训模型的情况下可大幅压缩视觉 token，从而降低显存占用与推理延迟，让长图、多图或高分辨率场景更可行。研发上可把剪枝策略作为推理层插件接入现有 VLM 服务，但也需重新评估检索、UI 理解等任务在极端剪枝下的准确率波动。

• 在现有 LLaVA 类多模态服务中接入 TReVS 式免训练剪枝，按查询动态裁剪视觉 token，降低单位推理成本
• 面向文档 OCR、图表问答等长视觉输入场景，提供高剪枝率推理档位，并公开各任务准确率与延迟对照
• 将高方差注意力头筛选逻辑封装为可配置模块，供团队按延迟预算调整第一阶段与第二阶段的剪枝比例

• TReVS 在 LLaVA-1.5-7B 之外的模型规模与架构上是否同样有效
• 论文未说明剪枝后实际推理延迟、吞吐与显存的端到端改善幅度
• 对 OCR、细粒度定位、多图推理等任务的性能损失是否可接受
• 该结论目前仅来自单一 arXiv 信源，尚无独立复现或同行评审确认