面向高效 LLM 压缩的逐层课程学习

该论文提出一种用于 LLM 压缩的逐层课程学习方法，将整个模型按层切分为多个片段，先易后难地完成教师到学生的知识迁移。作者基于累积误差现象的理论分析称该方法可加速收敛并稳定迁移，同时提出多线程特征缓存以缓解跨层特征错位。在 BERT 和 GPT-2 上，GPU 显存与训练时长均降低超过 50%；在相同训练时长下于 LLaMA 系列和 Qwen 模型上优于其他剪枝方法，显存占用更低。

此前 LLM 压缩中的知识迁移通常在一次优化中处理全模型，训练成本高且易出现跨层误差累积。该工作把课程学习与逐层分段结合，并给出累积误差的理论分析，声称在保持先进压缩性能的同时把显存与训练时长压到原来的一半以下，且在同训练时长下超过其他剪枝方法。

机制上，先按层把模型划分为若干片段，使每段的知识迁移计算量可控；课程学习让优化从较简单任务起步、逐步过渡到更难任务，以缓解一次性迁移带来的累积误差。跨层特征错位则通过特征缓存加多线程策略处理，减少重复计算并提升 GPU 利用率，从而同时压低显存占用和训练时长。

若结论可复现，团队在压缩 BERT、GPT-2 及 LLaMA、Qwen 系模型时，可用约一半的显存和训练时长完成同等或更好的压缩，降低微调与压缩环节的算力预算，使中小团队也能在单机或较少 GPU 上迭代压缩模型，缩短从压缩实验到部署的周期。

• 在自有 BERT 或 LLaMA 类模型的压缩流程中复现该逐层课程学习方案，对比现有剪枝方法在显存、训练时长和精度上的实际差距。
• 将多线程特征缓存与跨层特征对齐思路封装为训练侧工具，用于降低长模型压缩时的显存峰值。
• 在同等训练时长预算下，对 LLaMA 系列和 Qwen 模型做剪枝方案选型测试，验证其是否优于当前使用的压缩管线。

• 论文未披露在更大参数量模型或更长上下文场景下的压缩效果与稳定性。
• 缺少与更多主流压缩、蒸馏方法的完整横向对比，state-of-the-art 的适用范围尚不明确。
• 逐层分段数量、课程难度排序等超参数如何选取，证据中未给出具体指导。
• 显存与训练时长降低超过 50% 的具体实验配置和基线设置未被展开，复现难度未知。