LLM代理的实用在线KV缓存压缩：实证研究

论文《Practical Online KV Cache Compaction for LLM Agents: An Empirical Study》研究LLM代理在线KV缓存压缩。实验表明，立即压缩常损害性能，而延迟压缩利用代理未来查询可恢复大部分差距。令牌驱逐比注意力匹配在代理不完美时更稳健，可削减80%KV缓存并提升吞吐量。

此前KV缓存压缩多假定静态上下文，而代理场景需在线压缩。该研究首次系统比较不同代理查询来源，发现延迟压缩优于立即压缩，且令牌驱逐更稳健，为代理场景优化KV缓存提供了新方向。

代理轨迹中，未来查询未知，需用廉价代理查询预估重要性。延迟压缩利用未来真实查询，更准确识别关键信息。令牌驱逐基于启发式丢弃不重要token，对代理查询误差更鲁棒；注意力匹配则更敏感于代理质量，故在代理不完美时性能下降。

对使用长上下文代理的产品，KV缓存压缩可降低推理成本和延迟，提升吞吐量。但需谨慎选择压缩时机和代理查询，避免性能下降。对实时交互代理（如Copilot、Agent平台）尤为相关。

• 在代理产品中实现延迟压缩策略，等待代理下一步查询后再压缩KV缓存，以保持性能。
• 采用令牌驱逐而非注意力匹配作为默认压缩算法，因其在代理场景更稳健。
• 结合代理意图预测，动态决定压缩时机，平衡延迟与性能。

• 不同代理任务类型（如多轮工具调用）对压缩效果的影响未明确。
• 压缩后的KV缓存是否影响模型可解释性或调试能力未提及。
• 80%压缩率在长轨迹（如数百轮）下是否可持续未验证。