学习遗忘：面向长上下文稀疏注意力的微调方法

本文介绍了一种针对Transformer语言模型的新微调方法，通过稀疏注意力实现长上下文推理，无需过高的硬件预算。该方法适用于任何KV缓存策略，在单个Nvidia A100 GPU（40GB）上即可运行，并允许模型与策略协同适应，性能常优于使用精确注意力（序列并行）训练的模型。作者还提供了H2O稀疏注意力的高效实现，并发布了开源库KeysAndValues。

此方法在中等硬件预算下实现长上下文推理，打破了此前对高算力的依赖，为中小团队提供了更可行的方案。同时优于精确注意力训练，可能改变长上下文模型训练的技术选型。

稀疏注意力通过选择性地保留或压缩KV缓存，降低长上下文推理的显存与计算开销。该论文的微调方法让模型参数与特定的KV缓存策略协同适应，使模型在部署时更契合策略的取舍，从而在有限资源下提升性能。H2O策略在实验中表现最佳，且其专用内核进一步加速。

该开源库和微调方法可降低长上下文产品（如文档问答、代码生成）的推理成本，提升响应速度，并允许在单GPU上开发长上下文模型，减少对大规模GPU集群的依赖。产品研发可采用此方法优化现有模型的上下文长度与成本。

• 将KeysAndValues库集成到现有推理服务，降低长上下文场景的显存占用和延迟。
• 基于此方法微调垂直领域模型，在单GPU上实现定制化长上下文能力。
• 开发稀疏注意力相关的性能评测工具，帮助选择最优KV缓存策略。
• 将H2O稀疏注意力内核集成到主流深度学习框架，提供云端API服务。

• 该微调方法在多大程度上适用于不同规模（如更大参数量）的模型？
• 不同KV缓存策略（除H2O外）的性能差异是否显著，如何针对场景选择？
• KeysAndValues库是否支持主流框架（如PyTorch、TensorFlow）？
• 实际训练所需的时间和资源开销是多大，与精确注意力相比如何？