ReToken：用一个令牌改进视觉语言模型的视觉检索能力

arXiv AI 发布 ReToken，一个可学习的嵌入向量，作为显式检索目标，从预填充的视觉 KV 缓存中选择稀疏的查询相关视觉令牌。在小型图像问答数据集上训练后，ReToken 在图像和视频基准上提升一致：Visual Haystacks 上 Qwen3VL-8B 提升 13.4 点，InternVL3.5 提升 12.4 点；LVBench 上零样本迁移至长视频，Qwen3VL-8B 提升 8.0 点。轻量设计使训练和长视频推理可在单块 H100 上完成，代码已开源。

长视觉上下文导致视觉语言模型性能下降，且 GPU 内存限制下无法一次性处理所有令牌。ReToken 提供了一种轻量解决方案，通过单令牌检索显著提升性能，并将长视频推理成本降低到单 GPU 可承担，使高效视觉检索成为可能。

ReToken 作为可学习嵌入，在预填充的视觉 KV 缓存中定位与查询相关的视觉令牌，并稀疏选择它们，减少干扰项影响，降低计算负担。仅需小型问答数据集训练即可泛化，提示视觉令牌的稀疏选择机制可有效替代全量处理。

对视觉语言模型产品，ReToken 可降低长上下文检索场景的计算资源需求，单卡即可处理长视频，提升响应速度和处理长度上限；部署成本降低，有助于在资源受限环境提供视觉检索功能。

• 在现有视觉问答产品中集成 ReToken，处理长文档或长视频输入，降低推理成本。
• 针对视频检索场景，利用 ReToken 的零样本迁移能力，快速推出长视频理解功能。
• 基于 ReToken 的稀疏性，优化边缘设备上的视觉模型部署，提升实时性。
• 将 ReToken 作为插件，提升多模态助手在干扰物多时的检索准确率。

• ReToken 是否需针对不同模型架构进行适配或微调？
• 在视频基准上的提升是否依赖特定数据集分布？
• 稀疏令牌选择机制是否可能丢失细粒度视觉信息？
• 训练数据规模增大是否影响泛化能力？