LLM缓存应使用哪种淘汰策略？跨工作负载、容量和编码器的系统研究

一项研究在统一协议下比较了多种LLM缓存淘汰策略，包括FIFO、LRU、LFU、ARC、GDSF等，发现没有策略在任何设置中优于LFU超过0.041个百分点，但FIFO和流式SISO在紧容量下落后最多8.67和8.55点。此外，语义缓存的命中质量较低，阈值在不同编码器间不通用。

此前缺乏对LLM语义缓存淘汰策略的系统比较，该研究提供了首个统一评估协议，并指出LFU是简单默认选择，但更重要的是缓存命中质量极低，提示当前语义缓存的实际收益可能被高估，为部署决策提供关键依据。

在精确查找和未命中插入机制下，新插入条目无法在命中半径内拥有驻留邻居，导致几何感知淘汰策略无法获得新的冗余信号。此外，MiniLM阈值下仅2.1-3.9%的命中可替代答案，且跨编码器阈值不迁移，解释了高质量命中率极低的现象。

若产品依赖语义缓存加速LLM服务，需重新评估缓存的有效性：低质量命中可能浪费资源且影响回答准确性。建议先验证答案可替代性，再优化淘汰策略，否则单纯调整策略收益甚微。

• 构建答案有效性校验机制，过滤不可替代的缓存命中，提升缓存服务质量。
• 根据实际查询分布校准编码器阈值，避免跨模型迁移导致的低命中率。
• 在容量紧张场景优先采用LFU策略，并测试与精确搜索的组合方案。
• 开发混合缓存策略，结合语义相似与精确匹配，提升命中质量。

• 该结论在更大规模、更贴近真实生产的查询分布下是否依然成立？
• 是否存在其他编码器或阈值设置下命中质量显著提升？
• 答案可替代性判断如何自动化部署到生产系统？
• 流式SISO在更大容量下性能是否会改善？