ReCache：面向工具增强型 LLM 代理的高效 KV 缓存重用与压缩

ReCache 是一个用于工具增强型 LLM 代理的 KV 缓存重用与压缩框架。它通过资源级注意力将资源表示独立缓存，避免重复编码工具和技能模式，在七个数据集上测试，首 token 延迟加速 3.655 倍，KV 张量内存减少 92.43%，注意力加速 1.423 倍，性能仅略有下降（Inv-F1 82.3% 对 82.4%）。代码已开源。

此前缓存复用依赖前缀不变，而代理在请求中重复编码工具模式，标准前缀缓存失效。ReCache 提出资源级注意力，使缓存组成不变，大幅降低推理开销，为工具调用场景提供实用优化。

资源级注意力移除跨资源交互，分配资源局部位置，生成组成不变的 KV 块；通过限制资源可见性到选定层-头路由，并做结构和语义剪枝，仅保留关键字段，从而减少计算和内存开销。

可显著降低工具调用型代理的推理延迟和内存占用，提升响应速度并节省成本，有助于部署更复杂的代理应用，或降低现有产品的推理成本。

• 在工具调用型代理中集成 ReCache，降低推理成本和延迟。
• 将资源级缓存能力嵌入模型服务框架，为多租户场景提供优化。
• 基于开源代码快速原型验证，评估在自身数据上的收益。

• ReCache 在更大规模模型或复杂工具链上的表现如何？
• 资源级缓存是否影响多步代理推理的准确性？
• 与现有前缀缓存实现的兼容性和集成成本未知。