COEC：面向大语言模型结构化剪枝的校准正交等价补偿方法

COEC是一种无需训练的补偿框架，通过对保留权重交替施加左右正交旋转，并结合广义交叉验证重标定奇异值，降低结构化剪枝后的输出误差。实验显示，在Llama-3、Llama-3.1和Qwen2.5系列模型上，COEC在多个稀疏度下改善了困惑度，多数设置下提升了零样本准确率，尤其在较高稀疏度时增益更大。

现有无训练补偿方法仅使用加性偏置或单一正交旋转，保留权重的输入奇异框架未变，限制了剪枝后的适应性。COEC通过交替左右旋转和逐层正则化强度选择，突破了这一局限，在更高稀疏度下仍能有效维持模型性能，为低成本部署大模型提供了更优的补偿方案。

COEC在保留权重上交替应用左、右正交旋转，右旋转在简化Stiefel流形上优化，使用广义交叉验证逐层选择正则化强度，重标定奇异值。同时，通过对校准格拉姆矩阵进行调和，降低高能量激活方向的主导，并引入对齐惩罚保持相邻注意力投影的几何关系。所有组件仅需小校准集的二阶统计量，无需反向传播或重训练。

COEC可应用于多种结构化剪枝方法且无需训练，能显著降低模型推理的计算和存储成本，同时维持或提升性能。对于依赖大语言模型的产品，可加快推理速度、减少内存占用，尤其在资源受限的边缘设备或高并发服务中，有助于降低运营成本并提升用户体验。

• 将COEC集成到模型压缩工具链中，提供一键剪枝补偿功能，供开发者快速部署轻量模型。
• 基于COEC开发针对边缘设备的大语言模型优化方案，降低内存和功耗，开拓端侧AI应用。
• 在云端推理服务中应用COEC，提高单台服务器的并发处理能力，降低单位请求成本。
• 将COEC作为微调后模型优化的一步，在保持准确率的同时进一步压缩模型体积。

• COEC在不同任务（如代码生成、数学推理）上的泛化效果是否与语言建模一致？
• COEC对校准集的大小和质量敏感程度如何，极小或分布偏移的校准集会否导致性能下降？
• COEC在更大规模模型（如100B+参数）上的计算开销和效果是否仍有优势？
• COEC与量化、蒸馏等其他压缩技术的结合效果及兼容性如何？