PrefixBench-H100：在H100 LLM服务中刻画前缀复用与首字延迟

论文提出 PrefixBench-H100，一个在单张 NVIDIA H100 上测量前缀复用的可复现基准与测量框架。它结合合成 trace、聊天式与检索式负载，在匹配条件下评估 vLLM 与 TensorRT-LLM，改变共享前缀长度、后缀多样性、请求到达模式、并发、输出长度与缓存配置，采集首字延迟、token 间延迟、端到端延迟、吞吐、缓存命中、显存占用与部分 profiling 数据。

系统提示、模板化 RAG、agent 框架与多轮对话让重复前缀日益普遍，vLLM、TensorRT-LLM 也已提供 KV-cache 复用机制；但此前缺少在当代加速器上系统界定其有效边界的公开测量，团队难以判断收益何时被调度、缓存粒度、并发或显存压力抵消。

前缀复用通过跨请求保留已计算的 KV-cache 状态，减少重复 prefill 计算，从而降低首字延迟。其效果取决于共享前缀长度、缓存粒度与命中率、并发调度和显存压力：缓存命中可缩短首 token 时间，但缓存占用显存到一定程度后会侵蚀收益。该研究定位为刻画运行包络而非提出新缓存算法。

使用 H100 类 GPU 部署 LLM 的产品与研发团队，可据此评估是否值得为系统提示、RAG 模板和 agent 对话启用前缀缓存，并在并发、输出长度与缓存配置之间取舍；成本与体验的关键指标是首字延迟和缓存命中率，而非单看吞吐。

• 在自有 LLM 服务上按 PrefixBench-H100 维度复测前缀缓存收益，确定启用条件与缓存容量上限。
• 针对系统提示与 RAG 模板统一前缀格式，提高缓存命中率以降低首字延迟。
• 在网关或推理层加入缓存命中率与首字延迟监控，作为容量规划依据。

• 摘录未给出具体测量数值，收益显著与收益被侵蚀的临界条件尚不明确。
• 两个运行时在匹配负载下的具体差异结果未在证据中披露。
• 结论是否可外推到 H100 以外的加速器或多卡部署，证据未说明。