ARC-KV：摊销锚点搜索以改进基于重建的 KV Cache 压缩

该论文提出 ARC-KV，一种基于重建的 KV Cache 压缩方法。其核心是在多个上下文间学习可复用的 anchor 选择策略，同时保留上下文专属的重建过程。实验在 Llama-3.1-8B-Instruct 上对比 QuALITY、RULER、LongBench 任务，10% KV 保留率下 QuALITY 准确率从 0.6409 提升到 0.6474，压缩时间从 959.8 秒降至 37.3 秒，约为 25.73 倍加速。

此前基于重建的 Attention Matching 依赖 OMP 迭代锚点搜索，压缩耗时成为长上下文复用的主要瓶颈。ARC-KV 把锚点选择策略从逐上下文搜索改为一次学习、多上下文复用，在准确率略有提升的同时将压缩时间缩短约 25 倍，改变了长上下文 KV Cache 压缩的成本结构。

长上下文前缀的 KV Cache 随序列长度线性增长，且需服务多个下游查询，压缩成本被反复支付。ARC-KV 训练一个 value-aware indexer，在单次打分中选出真实 key 作为锚点；随后用凸包约束合并 key，并对完整 cache 拟合注意力质量偏置与紧凑 value。推理时每个上下文只用冻结的 indexer 构建一次紧凑 cache，供后续所有查询复用，从而摊销锚点搜索开销。

对需要复用长文档、长对话或长知识前缀的 LLM 应用，ARC-KV 可能显著降低 KV Cache 构建时间和显存占用。研发上可将压缩阶段从在线逐查询执行改为离线一次性构建，减少首 token 延迟与推理成本，同时保持下游任务准确率。

• 在长文档问答或 RAG 场景中，对固定知识前缀离线运行 ARC-KV 构建紧凑 KV Cache，供所有用户查询复用。
• 在支持多轮长对话的产品中，将会话前缀压缩一次后缓存，减少每轮重新压缩的延迟。
• 将 ARC-KV 的 value-aware indexer 与现有推理框架集成，提供可配置的 KV 保留率与压缩开关。
• 针对 Llama-3.1-8B-Instruct 之外的模型，验证并适配 ARC-KV 的压缩流程。

• ARC-KV 在 Llama-3.1-8B-Instruct 以外的模型和更大规模模型上是否保持同等效果尚未确认。
• 10% KV 保留率以外的其他压缩比例下的准确率与耗时表现未在证据中给出。
• 训练 value-aware indexer 所需的额外训练成本与数据需求未说明。
• 与量化、稀疏注意力等其他 KV Cache 优化方法的兼容性未经验证。