将长上下文压缩为答案对齐记忆嵌入以用于 LLM 推理

研究者提出 Context-to-Answer-Aligned Memory Compression（CMC）框架，将长输入上下文压缩为 Context Memory Embeddings（CMEs），并对其齐任意冻结解码器的嵌入空间，从而在不修改解码器权重的前提下降低推理开销。CMC 采用双层 KV cache，结合问题引导的 CME 选择与局部上下文窗口，并用冻结 LLM 进行答案导向蒸馏训练。在九种编码器-解码器组合与四个 QA 基准上，CMC 均优于基线，SQuAD 上最高提升 7.3 EM 和 4.0 F1，同时最多降低 20% 推理时间与能耗、50% 峰值预留 GPU 显存。

此前长上下文推理优化多依赖查询无关的软压缩、缺少答案目标监督，或与特定解码器架构强耦合。CMC 的变化在于把压缩结果对齐到任意冻结解码器的嵌入空间，并在推理时引入问题引导的记忆选择，使压缩模块可跨多种编码器-解码器组合复用，同时报告了推理时间、能耗与显存占用的下降。

自注意力随上下文长度呈二次增长，KV cache 呈线性增长，导致延迟、能耗与显存压力上升。CMC 将长上下文编码为紧凑的 CME，并让其在嵌入空间中与冻结解码器对齐，避免改动解码器权重；双层 KV cache 由问题引导选择相关 CME，再配合局部上下文窗口保留近期信息；训练阶段用冻结 LLM 的答案导向蒸馏，使压缩记忆更贴近最终回答所需信息。

对长上下文 LLM 产品而言，该方法提供了不改动已有解码器即可降低推理成本与显存占用的路径，可能影响 RAG、长文档问答与多轮对话的部署成本结构。研发上可在现有模型外层增加可训练的压缩器与双层缓存逻辑，减少对模型权重的改动需求，但需验证其在不同模型与业务数据上的稳定性。

• 在长文档问答或 RAG 产品中评估 CMC 式压缩器，以降低 3000 生成 token 场景下的显存与推理能耗成本。
• 将问题引导的 CME 选择与局部窗口组合成可配置的检索缓存层，作为现有推理服务的可选优化组件。
• 围绕答案导向蒸馏构建压缩器训练流程，使压缩记忆与业务问答目标对齐，而非仅做通用摘要。
• 针对多编码器-解码器组合做适配测试，验证压缩器在异构模型栈中的可迁移性。

• CMC 在九种编码器-解码器组合上的具体组合与各组合表现差异未在证据中列出。
• 四个 QA 基准的名称及除 SQuAD 外的具体提升幅度未完整披露。
• 7.3 EM 与 4.0 F1 提升是否在所有基准上一致，还是仅限 SQuAD，证据未明确。
• 压缩器训练成本、所需数据规模与端到端部署复杂度尚未说明。