自适应深度稀疏框架：基于相似度的预训练大语言模型资源分配

AdaDSF框架通过分析预训练LLM各层输入与输出隐藏状态的余弦相似度，为每层分配token保留比例，并利用轻量路由器筛选有信息量的token，同时引入特征保持对齐目标使稀疏模型接近密集模型表现。在GPT-NeoX和Qwen2.5的语言建模及常识推理任务中，推理FLOPs大幅降低，性能下降小于MoD、D-LLM、DLO等基线方法。

此前LLM推理加速通常需要任务特定微调或重新训练，适应成本高且跨任务通用性差。AdaDSF无需重新训练即可将现成预训练模型转换为深度稀疏模型，大幅降低部署门槛和成本。

核心机制是利用层输入与输出隐藏状态的余弦相似度量化每层对表示变换的贡献不均衡程度，据此分配不同token保留比率，并通过可学习的路由器保留重要token，最后用特征保持对齐损失缩小稀疏与密集模型中间及最终表示的差距，从而在保持性能的同时减少计算量。

可直接应用于现有Transformer架构的LLM产品（如GPT-NeoX、Qwen2.5），在不牺牲生成质量的前提下显著降低推理计算量和延迟，从而降低服务成本，尤其适用于语言建模和常识推理场景。

• 将AdaDSF集成到LLM推理服务中，无需重新训练即可实现推理加速与成本优化。
• 基于层相似度统计开发自动资源分配工具，为不同模型和任务动态调整稀疏度。
• 结合量化或知识蒸馏技术，进一步压缩模型以适配边缘设备部署。

• AdaDSF在超大规模模型（如70B参数以上）上的效果与工程可行性如何？
• 在长文本生成或多轮对话场景中，稀疏策略的稳定性和表现是否一致？
• 是否需要针对不同下游任务调整相似度阈值或路由器结构？
• 引入路由器和特征对齐目标带来的额外计算开销是否抵消部分推理收益？