GyRot：利用旋转与细粒度组量化之间的协同实现低比特LLM推理

arXiv论文提出GyRot，一种针对低比特LLM推理的量化框架与硬件加速器，通过算法-硬件协同设计（CoRFiG和HAP）实现旋转与细粒度组量化的协同，采用INT4张量PE架构，在LLaMA系列模型上达到SOTA精度，并相比基线加速器带来最高3.4倍加速和3.6倍能效提升。

此前旋转与组量化结合会因全局与局部不匹配导致精度下降或硬件开销，GyRot通过算法-硬件协同设计解决该问题，在保持精度的同时提升速度与能效，为大规模LLM部署提供了更高效方案。

GyRot引入Coarse Rotation, Fine Grouping (CoRFiG)和Harmonic-Aligned Permutation (HAP)，使旋转的全局变换与组缩放的局部特性协同，增强可量化性并放宽缩放因子精度。同时通过零点半舍入策略实现全整数反量化，减少硬件成本，最终在INT4硬件上实现精度与效率提升。

对LLM推理产品，GyRot可降低硬件成本与能耗，提升推理速度，使低比特量化在边缘或数据中心部署更可行，可能影响模型量化方案选型和硬件设计。

• 评估GyRot在自有LLM推理服务中的集成，量化精度与速度提升。
• 与硬件团队合作，考虑在INT4加速器设计中采用GyRot架构。
• 结合CoRFiG和HAP优化量化流程，降低模型部署成本。

• GyRot在非LLaMA模型上的通用性如何？
• 实际芯片实现是否已验证？
• 能效提升的具体测试条件与对比基准？