InferScale: GPU原生KV注入用于个性化LLM服务

InferScale是一种GPU原生的大语言模型记忆系统，它通过预计算每个记忆事实的KV表示并存储在GPU上，在服务时检索相关记忆并直接注入vLLM的分页缓存，替代传统重复预填充提示内容的方式。该方法引入Chunked RoPE处理旋转位置嵌入，并使用上下文窗口编码减轻独立编码的损失。实验表明，在LoCoMo数据集上，当检索预算增加时（k=50），InferScale能使首token延迟（TTFT）几乎保持恒定，无需引擎修改或模型微调。

现有记忆系统（如Mem0、MemGPT、Zep）每次请求时重复预填充相同记忆内容，导致时间至首token（TTFT）随着检索预算增加而增长。InferScale通过预计算可复用的KV状态，避免了重复预填充，使延迟不再随记忆量线性增加，这对需要长期上下文和个性化记忆的LLM应用（如对话助手、个人助理）是实质性的效率提升。

InferScale的核心机制是将记忆事实的KV表示预先计算并存储于GPU，服务时根据语义嵌入检索相关事实，并将对应的KV直接注入vLLM的缓存中。为了解决动态组合记忆下的旋转位置嵌入（RoPE）问题，它提出Chunked RoPE，在注入时根据实际位置施加转角。同时，通过上下文窗口编码在编码记忆时包含前文上下文的微小窗口，以减少独立编码导致的上下文缺失，这些设计保证了KV注入的准确性和效率。

对于开发个性化LLM服务的团队，InferScale可直接集成到vLLM框架（通过KV-connector接口），无需修改推理引擎或重新训练模型。它显著降低了检索式记忆系统的TTFT延迟，使产品能支持更大容量的内存预算（如上千条记忆）而不影响首token响应速度，从而改善用户实时交互体验，并减少计算资源消耗。

• 在对话式AI产品中集成InferScale，替代现有基于提示注入的记忆系统，降低首token延迟。
• 利用InferScale构建支持长期历史上下文的个人助手，用户可累积数万条记忆而不影响响应速度。
• 将InferScale作为插件提供给vLLM用户，使任何基于vLLM的LLM服务立即获得高效个性化记忆能力。
• 开发基于InferScale的SaaS记忆层API，让第三方应用无需自身实现即可获得低延迟持久记忆。

• InferScale额外占用多少GPU显存来存储预计算KV？在高并发场景下是否可行？
• Chunked RoPE和上下文窗口编码对生成质量的影响是否全面评估过？
• InferScale是否支持跨对话会话的长期记忆演化（如删除、更新记忆事实）？
• 除了vLLM，InferScale能否适配其他推理框架（如TGI、llama.cpp）？