复杂淘汰策略为何失效：重新思考面向 LLM 前缀复用的缓存替换

一篇 arXiv 论文研究长时运行的 LLM 应用中 prefix 缓存的行为，基于两家公司的生产 trace，在 HBM 受限与大规模内存池两种设置下评测 14 种淘汰算法。结果显示，相比 LRU，面向传统缓存设计的复杂策略几乎没有额外收益，与 Belady 最优仍有较大差距；作者据此提出 compute-savings ratio 与两种离线 oracle，并计划公开 trace 和模拟器。

此前 prefix 缓存优化多假设可借用传统缓存淘汰算法，但该研究指出在 agentic 负载下这一假设不成立：淘汰策略不再是主要瓶颈，真正的新变量是重尾会话占用与随序列长度变化的 miss 成本，缓存评估口径需要从命中率转向计算节省。

前缀复用主要由活跃会话的规律性节奏驱动，使“最近使用”对下一次复用的预测力异常高，因此 LRU 已接近复杂策略的效果。但 prefix 缓存仍存在结构性问题：会话内存占用呈重尾分布，且不同 miss 的代价随 attention 计算量随序列增长而变化，使统一的淘汰粒度与代价假设失效。

对自建推理服务的团队，投入实现 LFU、ARC 等复杂淘汰策略的收益有限，应保留 recency 为基线，并针对一次性前缀做快速降级、对高代价 miss 做计算感知的部分淘汰、按容量调整淘汰粒度；同时缓存评估指标应纳入计算节省而非仅看命中率。

• 在推理服务或网关中先以 LRU 为基线落地 prefix 缓存，避免过早为复杂淘汰算法投入工程资源。
• 为一次性命中的前缀设计快速降级机制，减少其长期占据 HBM 的机会。
• 将淘汰决策与 attention 计算代价挂钩，对高代价 miss 采用部分淘汰而非整段丢弃。
• 按可用内存容量调整淘汰粒度，在 HBM 受限与大规模内存池两类部署中分别调参。

• 两家公司的具体业务场景与 trace 规模未在摘要中说明，结论是否适用于其他负载类型尚不确定。
• compute-savings ratio 与两种离线 oracle 的具体定义和实现细节尚未公开。
• 作者承诺公开的 trace 与模拟器尚未发布，复现与横向对比暂不可行。
• 计算感知的部分淘汰在真实推理框架中的工程可行性尚未验证。