CompKV：面向长上下文 LLM 推理的补偿感知 KV 选择

arXiv 论文提出 CompKV，一种面向长上下文 LLM 推理的补偿感知稀疏注意力框架。现有方法先按注意力质量选 token、再对未选部分做粗粒度补偿，两者解耦，忽略交互。CompKV 将 token 分块，直接为下游补偿机制优化选择，用块级统计近似残差，并给出异步实现。在 RULER 与 LongBench-Pro 上优于所评估的稀疏基线，自注意力相对全注意力最高提速 6.85 倍。

此前稀疏注意力普遍先按注意力质量选 token、再独立补偿被丢弃的注意力尾部，选择与补偿脱节。CompKV 把二者合并优化，指出应优先保留一旦省略会带来最大补偿误差的 token，并给出可部署的块级选择标准，改变了长上下文推理加速的设计思路。

理论分析表明，块级均值补偿留下的残差同时受块注意力质量与块内 logit 变化影响，仅看注意力质量不足以判断省略代价。CompKV 用紧凑的块级统计量近似该残差，从而把补偿误差纳入选择准则；再配合异步实现，把选择与注意力计算解耦调度，降低 KV cache 的内存访问开销。

对长上下文产品，这意味着在同等显存与延迟预算下可支撑更长输入或更高并发；推理侧可在既有稀疏注意力管线中替换选择策略，而非重训模型。测试覆盖 RULER 与 LongBench-Pro，说明对检索类长文本任务有直接参考价值，但实际部署收益需按自身负载验证。

• 在自建长上下文推理服务中，用 CompKV 的块级选择准则替换现有稀疏注意力选择模块，对比同显存下的吞吐与质量。
• 针对 RAG、长文档问答等块状输入场景，先离线复现 RULER 与 LongBench-Pro 结果，确认收益后再上线。
• 围绕异步实现做工程评测，量化 KV cache 内存流量下降对单位推理成本的影响。

• CompKV 的开源实现与推理框架集成状态尚不明确。
• 6.85 倍自注意力提速对应的端到端延迟与吞吐提升幅度未在证据中给出。
• 该方法在不同模型规模与上下文长度下的收益衰减情况未知。
• 与其他 KV cache 压缩或量化方法叠加时的兼容性与效果尚未验证。