FlashPrefill V2：面向长上下文大模型服务的块稀疏预填充注意力

FlashPrefill V2 是 FlashPrefill 的升级版，旨在优化大语言模型长上下文预填充阶段的注意力计算。它引入均值修正项抑制近似误差，并通过与 FlashAttention-3/4 对齐的稀疏算子、FP8 支持、分页 KV 缓存和连续批处理，实现生产级集成。在 NVIDIA H20 GPU 上，128K 上下文长度下，FP8 精度相对 FlashAttention-2 最高加速 47.26 倍，BF16 下加速 27.19 倍。

此前 FlashPrefill 仅是算法原型，距离生产部署尚有距离。FlashPrefill V2 通过支持分页 KV 缓存、连续批处理和 FP8 推理，可直接集成到 SGLang 等现代推理框架，将稀疏注意力从实验室推向实际应用，大幅提升长上下文推理性能，对部署成本有显著影响。

长上下文注意力计算量随序列长度平方增长，预填充阶段尤其严重。FlashPrefill V2 通过块稀疏化减少计算量，并利用均值修正项控制近似误差，结合内存访问优化（PackGQA）、warp 特化和流水线设计，以及 FP8 量化加速，最终在保持精度的前提下大幅降低计算开销。

可直接提升长上下文 LLM 服务的推理速度，降低延迟和成本，尤其在 128K 以上场景。对推理框架（如 SGLang）而言，可作为后端集成，优化资源利用。但需验证在更大规模部署中的实际收益与稳定性。

• 在 SGLang 等推理框架中集成 FlashPrefill V2 作为后端，并针对 FP8 精度微调模型。
• 面向长上下文应用（如文档分析）提供基于 FlashPrefill V2 的加速 API 服务。

• FlashPrefill V2 在 H20 之外的 GPU（如 A100/H100）上的加速效果是否一致？
• FP8 精度下加速显著，但模型精度下降的具体幅度如何？
• 是否支持多模态输入？
• 在 Llama 3 等主流模型上的实际吞吐量提升数据是什么？