绕过算力上限：Galahad 的字节精确记忆让 LLM 阅读成为一次性成本

一篇 arXiv 论文提出面向 vLLM、SGLang 和 llama.cpp 的显存层 Galahad，将模型已读文本的 KV 状态按字节保存复用，避免跨请求重复计算。在七个真实数据集上，98.7% 的提示 token 是模型此前已读过的文本。在 97,000 token 语料、100 条事实的召回测试中，Taliesin 组件使 Gemma 4 31B 在 llama.cpp 上答对 98 条，每题 3.0 秒、572 焦耳；未用时仅答对 10 条。

此前推理服务默认跨请求无状态，同一文档被反复重算注意力状态。该工作把已读文本的 KV 状态做字节级复用，并用文档分段减少喂入内容，使长上下文召回从受限于窗口变为可覆盖全语料，同时给出能耗与延迟的量化对比。

模型每 token 计算量有上限，而服务无状态导致重复计算。Taliesin 将一段文本的 KV 状态保存，下次请求含相同字节时直接加载；Blaise 保留文档本身，只把问题所需片段送给模型。恢复状态为比特级一致，因此结果不因复用而改变，存储成为一次性成本。

长文档问答、知识库检索和多轮文档分析的产品可直接降低重复预填充成本。证据显示单题能耗从 2,754 焦耳降至 200–213 焦耳，延迟从 9.3 秒降至约 0.6 秒，且召回率提升。工程上需评估 KV 状态的存储、命中判定与跨运行时兼容开销。

• 在自托管推理服务中接入 Galahad，对高频复用文档缓存 KV 状态并监控命中率与能耗变化
• 针对长文档问答产品，用 Blaise 式分段投喂替代整篇上下文，验证准确率与单题成本
• 在 RAG 流程中对比 Galahad 方案与调优后的 RAGFlow，按召回率、延迟和能耗选择架构

• 摘录末尾被截断，输出比特级一致性的完整结论未展示
• 100 条事实召回测试之外的通用任务表现未被证据覆盖
• KV 状态存储的容量上限、淘汰策略和多租户隔离方案未说明
• 13 题回本周期是否随语料规模与模型大小变化，证据未给出