CoVisco：面向统一图像视频理解的codec原生视觉编码器与原生token压缩

CoVisco 是一种面向统一图像-视频理解的 codec-native 视觉编码器，通过原生 token 压缩解决视觉 token 随视频时长和空间分辨率增长的问题。它结合 codec 原生输入与分段注意力，可在单次前向传播中编码长视觉输入，无需构建全帧密集 patch 交互。每段配备可学习抽象 token，并通过交替层保留视频级上下文；轻量选择器可仅输出抽象 token，或附加运行时选定的 patch token 子集。

此前方法通常在密集编码后再压缩视觉 token，导致训练表示与部署时紧凑接口不一致。CoVisco 将压缩前移到编码器内部，使训练与部署使用同一套紧凑表示，并降低下游 MLLM 的视觉上下文与 prefill 负担，同时保留按需调用细粒度 patch 的能力。

以 codec 原生方式接收视觉输入，配合分段注意力避免全帧 patch 间密集计算；每段用可学习抽象 token 形成段级表示，交替的段内层与抽象通信层通过抽象 token 通道传递视频级上下文；选择器在推理时决定输出抽象 token 或附加部分 patch token，从而在紧凑性与细粒度证据之间动态权衡。

对需要长视频理解的产品，可减少视觉 token 数量与 prefill 计算量，降低推理成本并可能支持更长输入；训练与部署表示一致，可减少为部署压缩而做的额外适配工作；选择器机制让产品可按场景在低延迟与高精度之间切换。

• 在长视频检索或视频问答产品中，采用抽象 token 作为默认输入以降低推理成本，并在需要细节时启用 patch token 子集。
• 将选择器策略做成可配置的运行时参数，按查询类型或延迟预算动态决定是否附加 patch token。
• 评估将 CoVisco 作为统一视觉编码器接入现有 MLLM 管线，验证替换后 prefill 负担与准确率的变化。

• 抽象 token 压缩对细粒度时序定位或小目标识别任务的具体精度损失是多少？
• 运行时选择 patch token 子集的策略由什么信号驱动，是否需要额外训练？
• 在四个分段、64 帧设置之外的更长视频或更高分辨率下，性能与成本如何变化？
• 与现有视频理解基准上的具体对比结果和复现成本尚未在证据中完整呈现。