面向 LLM 推理服务的高带宽闪存特性评估

一篇 arXiv 论文评估了高带宽闪存（HBF）用于 LLM 推理服务的效果。作者提出 HBM-HBF-host 分层存储系统与缓存感知调度，并用 trace 驱动模拟测试。结果显示，最快的 HBF 增强系统相比仅用 HBM 的系统，完成时间降低 36.1%-87.0%，能耗最多降低 55.8%，但部分轻负载下能耗反而上升；调度优化将 HBF 写入寿命从 4.77 年延长至 14.82 年。

此前 LLM 服务的容量与带宽瓶颈主要依靠 HBM 扩容缓解，而 HBF 一直被写入寿命与访问成本制约。该工作把 HBF 从单纯扩容介质转成需与调度协同设计的层级存储问题，并给出了完成时间、能耗与写入寿命的量化结果，说明容量扩展的收益取决于数据放置策略而非硬件本身。

模型权重和 KV cache 随模型规模与上下文长度增长，agentic 工作负载又反复交互并累积上下文，使保留 KV 状态复用变得关键。HBF 以较低成本扩大加速器可用容量，但读写延迟高、写入耐久有限，因此需要把热数据放在 HBM、冷数据放在 HBF，并用缓存感知调度减少写入频次，从而在提升吞吐的同时维持可用的写入寿命。

若结论在生产环境成立，推理服务架构需要引入 HBM、HBF 与 host 之间的分层存储管理和调度层，而非只关注单卡显存大小。长上下文与 agentic 应用的 KV cache 复用可能成为容量规划的核心指标；研发需同时优化命中率、写入次数与能耗，部分轻负载场景可能出现能耗不降反升，需按工作负载分档配置。

• 为长上下文 agentic 推理服务设计 KV cache 分层缓存策略，按热度将数据在 HBM 与 HBF 间迁移，并以完成时间和写入寿命为双目标调优。
• 构建面向 HBF 的写入寿命监控与调度中间件，按工作负载动态限制写入频率，避免耐久提前耗尽。
• 针对不同负载档位提供能耗与延迟配置模板，识别 HBF 反而增加能耗的轻负载场景并默认关闭。
• 在推理集群容量规划工具中加入 HBM/HBF/host 三级存储的成本与性能模拟，辅助采购与部署决策。

• 该结论基于 trace 驱动模拟，尚未在真实 HBF 硬件上验证，实际延迟、带宽与耐久表现是否一致？
• 36.1%-87.0% 的完成时间降幅对应的具体模型规模、上下文长度与并发水平是什么？
• 写入寿命从 4.77 年到 14.82 年的估算依赖特定配置，该数字在其他部署条件下是否可复现？
• 哪些轻负载场景下 HBF 会增加能耗，其边界条件是否已被明确刻画？