面向 LLM Agent 高效记忆压缩的持久上下文图

一篇 arXiv 论文提出面向 LLM Agent 的记忆压缩方法 ReCAP：把注意力推导出的重要度分数与依赖关系存入轻量、持久的上下文图。新请求到来时，结合图中重要度与请求相关性线索，沿依赖链选取消息及其支撑上下文，无需额外模型调用。相比 Codex 默认的摘要式压缩，在 Qwen3-Coder 与 gpt-oss 上压缩和冷恢复延迟约降 95%。

此前记忆压缩多依赖摘要历史或压缩 KV cache 来保留未来请求所需信息，往往需要额外模型计算；而缓存过期后重新评估历史又意味着重新编码。ReCAP 把历史重要性与依赖关系外化为持久图结构，使选择过程不再调用模型，把压缩从计算问题转为检索问题。

历史消息之间的注意力分布隐含了重要性与依赖信号，这部分可离线存储；而当前任务的相关性必须由新请求判断。ReCAP 因此把两类信号分开：持久图负责保存过去的重要度与依赖链接，新请求只提供相关性线索，随后沿依赖链选出消息及支撑上下文，避免为选择而重新编码整个历史。

对 Agent 产品而言，长会话下的上下文窗口占用与 prefill 成本是主要瓶颈。该方法在 SWE-Together 上把每次调用的历史上下文约减半且任务质量相当，并在 Lost-in-Conversation 代码任务上比全量历史分别提升 19.8 和 41.2 个点，说明可在降低成本的同时改善长对话检索准确率。

• 在自研 Agent 框架中先离线记录消息级注意力重要度与依赖边，作为可复用记忆层，替代每次请求重新摘要。
• 针对长会话 coding assistant 建立灰度对比：同一任务下比较摘要式压缩与图式选择的上下文长度、延迟和通过率。
• 将持久上下文图作为跨会话记忆的存储格式，验证冷启动恢复场景下的首包延迟改善。
• 围绕依赖链选择逻辑设计可观测指标，如被选消息数、链深度与最终任务质量的相关性。

• ReCAP 在生产级超长会话与多 Agent 并发场景下的稳定性尚未由证据说明。
• 注意力重要度分数的长期衰减与陈旧信息清理策略未见描述。
• 95% 延迟下降与上下文减半是否在真实线上流量、非代码任务上同样成立，证据仅覆盖部分模型与基准。
• 实现 ReCAP 所需改动的工程成本与对现有推理栈的兼容性尚未说明。