MXSens：面向高效LLM推理的敏感度感知混合精度量化

MXSens是一种无需训练的混合精度量化方法，针对LLM推理中的异常值问题。它基于层和列级别的敏感度分析，为不同部分分配4、6或8位的尾数位宽，并利用MXINT硬件微观缩放格式。在W4A4KV4设置下，MXSens在LLaMA-2-70B和LLaMA-3-8B上分别实现3.77和7.63的困惑度，显著优于现有基线。该方法在不牺牲精度的情况下提升了资源效率。

此前混合精度量化依赖软件管理的缩放和频繁反量化，开销大；数据旋转方法与新兴的MXINT硬件格式不兼容。MXSens在硬件层面利用MXINT块结构，通过细粒度敏感度指导分配位宽，无需训练即可达到更高精度，同时消除了软件开销，为LLM量化建立了新的精度-效率平衡。

MXSens发现异常值的严重程度不同，量化敏感度在层和列上分布不均。因此，它根据每个列和层的敏感度分配混合尾数位宽（4/6/8），利用MXINT的块级硬件编码来避免软件缩放和频繁反量化，从而在不增加推理成本的情况下减少精度损失。

可降低LLM推理的内存占用和计算成本，使大模型更易部署在资源受限设备上；无需训练即可直接应用于现有模型，缩短了优化周期；硬件原生支持MXINT时能进一步加速推理，但对当前缺乏MXINT硬件的产品可能需要等待生态成熟。

• 将MXSens集成到ML推理引擎中，为边缘设备提供低内存高精度LLM推理方案。
• 开发基于MXSens的云服务API，按精度需求动态选择量化位宽，降低用户调用成本。
• 与模型压缩工具链结合，为不同硬件平台自动生成最优化量化配置。

• MXSens在更多模型家族（如Mistral、Falcon）上的泛化性能如何？
• 当前哪些硬件支持MXINT格式？缺乏硬件时能否用软件模拟并保持收益？
• MXSens对推理延迟的具体影响（吞吐量、首token延迟）是否有实测数据？
• 该方法在不同下游任务（如对话、翻译）上的精度保持情况是否一致？