减少六层：Whisper 编码器剪枝与无标签恢复

研究者提出按逐层移除后 Word Error Rate（WER）变化对 Whisper 编码器层排序的剪枝方法，移除影响最小的六层，占编码器栈的 18.5%。剪枝后模型只是层数更少的编码器，无需定制推理代码。再用无标签单语语音蒸馏恢复性能，四种语言平均 WER 从零样本剪枝的 21.9% 降至 20.1%，基线为 18.2%。代码与剪枝模型已公开。

此前对 Whisper 的压缩主要集中于 decoder，例如 whisper-large-v3-turbo 将 decoder 从 32 层减到 4 层，Distill-Whisper 减到 2 层；encoder 压缩因常需定制推理实现而未被广泛采用。该工作给出无需定制推理的 encoder 剪枝路径，并通过无标签数据蒸馏缩小精度损失。

方法以 leave-one-layer-out 对 WER 的影响为排序依据，优先删除对识别结果影响最小的层，因此剪枝后的模型结构仍是标准 Transformer encoder，只是层数更少，可直接沿用现有推理栈。随后用无标签单语语音蒸馏，把零样本剪枝造成的性能退化部分拉回，避免依赖标注数据。

对语音产品与研发团队，encoder 层数减少意味着模型更浅、推理栈改动更小，可降低部署与维护成本；无标签蒸馏则可利用现有未标注语音数据恢复精度，减少对标注数据的依赖。但四语言平均 WER 仍高于基线 1.9 个百分点，是否满足线上质量门槛需按场景评估。

• 在自有 Whisper 推理服务上复现该剪枝流程，评估延迟与显存收益后再决定是否上线。
• 用已有未标注单语语音跑蒸馏恢复流程，比较恢复后的 WER 与标注微调的差距。
• 对多语言语音产品按语言单独测量剪枝后 WER，决定是否只对部分语言启用压缩模型。

• 该剪枝与蒸馏流程在四语言之外的其他语言和口音上的 WER 表现如何？
• encoder 剪枝带来的端到端延迟和显存下降幅度具体是多少？
• 无标签蒸馏需要多少小时语音数据才能达到论文中的恢复效果？
• 剪枝后模型在噪声、远场等非标准录音条件下的鲁棒性是否下降？