GraniKV：针对长共享前缀多智能体系统的非对称粒度 KV 缓存分页

GraniKV 是一种 KV-cache 分页新架构，将长共享前缀放入连续的 HOT 池，将每个请求的后缀放入 token 级 COLD 池，并配合每步调度器在计算、内存或通信绑定的后端间选择。在 Llama-3.1-8B/TP=1、Qwen-2.5-14B/TP=2、Qwen-2.5-32B/TP=4 上，输出吞吐量分别提升至 2.16 倍、1.98 倍和 1.57 倍；在异构多智能体场景下提升 1.95 倍。

生产级分页引擎传统上对 KV 缓存采用统一分页粒度，但多智能体工作负载对共享前缀和后缀的存储需求相反。GraniKV 首次在 KV 缓存中引入非对称分页粒度，实现了显著吞吐提升，为多智能体系统的推理优化提供了新范式。

长共享前缀适合连续存储以减少访存开销并支持批处理 GEMM，而每个请求的后缀需要细粒度分配以避免浪费。GraniKV 通过将前缀放置于 HOT 池、后缀放置于 COLD 池，并结合双后端调度，使得每种后端都能针对特定工作负载优化，从而提升整体吞吐。

对于采用分页 KV 缓存的服务端引擎，集成 GraniKV 架构有望显著提升多智能体场景下的吞吐量，降低延迟和成本，并可能降低存储碎片。研发团队需要考虑在现有引擎中实现 HOT/COLD 池和双后端调度器的复杂度。

• 在现有推理框架中集成 GraniKV 的 HOT/COLD 池设计和双后端调度器，以提升多智能体应用的吞吐量。
• 为多智能体平台提供基于 GraniKV 的优化方案，支持长共享提示词场景。
• 开发工具或插件，自动检测共享前缀长度并动态选择缓存策略。
• 针对异构多智能体负载提供性能调优服务。

• GraniKV 在更长共享前缀或更大模型上的扩展性如何？
• 实现 GraniKV 需要对现有引擎进行多大程度的修改？
• 在实际生产环境中的稳定性表现如何？