APQF：基于智能体配置的结构化剪枝与混合精度量化，配合自适应微调

arXiv 发布论文介绍 APQF，一个结合结构化剪枝、混合精度量化感知训练与自适应微调的自动化压缩框架。智能体评估模型各层对压缩的敏感性与成本分布，LLM 规划器据此提出逐层剪枝率和位宽，并经验证后执行。在 ResNet、ViT 等模型上，ImageNet 计算量降至原始 5.6%-7.7%，Top-1 准确率在低预算下比现有方法高约 17 个点。

此前剪枝和量化依赖专家手动选择、统一设置，难以跨架构通用。APQF 首次将 LLM 引导的决策与全训练感知的压缩流程结合，实现自动化、逐层定制压缩，在 ImageNet 和 CIFAR-10 上显著降低计算量同时保持准确率，为边缘设备部署更高效模型提供了新路径。

APQF 通过配置智能体测量模型各层计算成本和压缩敏感性，将证据交给 LLM 规划器，由其提出逐层剪枝率和位宽，并在执行前验证。这样既避免了手动调参，又能针对不同层特性定制压缩，在压缩后通过量化感知训练恢复精度，最终在整体上实现高压缩比而不过度损失准确率。

对依赖模型推理的端侧产品，APQF 可在保持接近基线的准确率下将计算量降低 13-18 倍，直接降低推理时延和能耗。对研发流程，可减少人工调参和针对不同架构的定制工作量，加快模型压缩迭代。但在实际产品中的部署效果和内存占用改善尚未明确。

• 基于 APQF 开发自动化模型压缩工具，面向边缘设备提供打包服务
• 在视觉模型（ResNet、ViT 等）上评估 APQF 压缩后的推理速度和能效，验证收益
• 探索将 APQF 集成到现有 MLOps 流程，自动生成压缩模型部署清单

• APQF 是否支持 NLP 或 Transformer 以外的主流架构？
• 在 200K 图像预算下具体准确率数值和详细对比方法未在摘要中给出
• LLM 规划器的推理成本是否计入总压缩时间？
• 论文发布具体日期与会议来源尚待核实