E2S-Pruner：视觉语言模型中渐进式两阶段证据融合的视觉 Token 剪枝方法

E2S-Pruner 是一个面向视觉语言模型的视觉 token 剪枝框架，采用两阶段证据融合方法，无需辅助模型、可训练参数或微调。在 LLaVA-1.5-7B 上，当保留 token 数为 192、128、64 时，分别保持 98.0%、96.8%、90.6% 的聚合性能，吞吐量提升 1.96 倍和 2.09 倍，并在 Qwen2-VL-7B 上验证了跨模型泛化能力。代码已开源。

现有视觉 token 剪枝方法多依赖注意力分数并直接聚合各头各层输出，难以刻画证据的不确定性和冲突。E2S-Pruner 引入证据理论，将注意力头视为独立证据源，通过两阶段融合和空间新颖性约束，在保持性能的同时显著提升推理吞吐量，为视觉语言模型的高效推理提供了新思路。

E2S-Pruner 将每个注意力头视为独立证据源，根据证据清晰度和头间一致性估计其可靠性，并将视觉 token 分为重要、不重要和不确定三类。第二阶段利用 Dempster-Shafer 证据理论量化层间冲突并融合多层互补证据，同时引入空间新颖性约束，确保保留的 token 覆盖不同图像区域，避免集中于局部显著区域，从而在减少 token 数量的同时维持模型性能。

该方法无需微调或额外参数，可直接应用于现有视觉语言模型，有望降低推理延迟和 GPU 内存占用，提升实时性和吞吐量。对产品而言，可改善多模态应用的响应速度，降低部署成本，尤其在资源受限场景下提升用户体验。

• 在视觉问答或多模态聊天产品中集成该剪枝方法，以降低推理延迟，提升并发处理能力。
• 基于其空间新颖性约束，开发针对复杂图像场景（如文档、图表）的 token 选择策略，优化细粒度视觉理解。
• 将该方法与模型量化或蒸馏技术结合，进一步压缩模型，适配边缘设备或移动端部署。
• 利用其跨模型泛化特性，为不同规模的多模态模型提供统一的推理加速方案。

• 该方法在更大规模模型（如 13B/70B）上的性能或吞吐提升是否与 7B 模型一致？
• 在真实业务场景中，剪枝后的模型对长尾或罕见视觉概念的敏感度是否受到影响？
• Dempster-Shafer 证据融合在不同视觉领域（如医疗影像、自动驾驶）上的适用性尚未被验证。
• 代码中是否包含对多模态输入（如视频、多图）的支持，目前证据未提及。