面向基于SVD的LLM压缩的标准化评估平台

arXiv 发布论文 LowRankArena，提出一个标准化评估平台，用于比较基于 SVD 的低秩压缩方法对大型语言模型的效果。该平台统一了任务版本、压缩预算、比较设置和推理测量，并发布了超过 3 TiB 的压缩检查点。对五种代表性 SVD 方法的审计显示，此前的结果在统一协议下具有条件性，领先者因骨干网络和保留比例而异，多项选择准确率可能掩盖困惑度退化，端到端加速有限。

此前不同研究使用不同的基准、压缩比例和设置，导致结果难以比较，无法判断性能提升是来自方法本身还是评估协议。LowRankArena 通过统一评估标准，首次提供了可复现的对比平台，揭示了先前结果的条件性，为行业选择压缩方法提供了更可靠依据。

SVD 低秩压缩通过分解权重矩阵降低内存和计算成本，但评估协议的差异（如任务版本、压缩预算）会混淆方法间的真实差异。统一平台通过固定这些变量，并测量端到端速度，使得性能差异更能反映方法本身的优劣，从而帮助识别在特定骨干网络和保留比例下真正有效的方法。

对产品团队而言，该平台提供了更可靠的基准来评估压缩技术，有助于在部署 LLM 时选择合适的方法，以降低推理成本和内存占用。但需注意，加速收益可能因工作负载而异，且多项选择准确率可能掩盖困惑度退化，因此产品决策应结合多项指标。

• 基于平台基准，选择在特定骨干和保留比例下表现稳定的SVD方法，优化模型部署。
• 利用发布的3TiB检查点进行内部验证，评估压缩模型在自身任务上的准确率和速度。
• 开发自动评估流程，集成LowRankArena以持续监控压缩模型的性能退化。
• 根据工作负载特征，测试端到端加速效果，避免选择名义节省但实际无收益的方法。

• 平台是否支持除SVD外的其他压缩方法（如剪枝、量化）的对比？
• 审计的五个方法具体是哪些，结论是否适用于其他未审计的方法？
• 发布的检查点是否适用于商业用途，许可证如何？
• 平台对推理测量的硬件环境是否有特定要求，结果是否依赖GPU型号？