FoldQuantVLA：通过一致性折叠实现视觉-语言-动作模型的原生低比特量化

该论文提出 FoldQuantVLA，一种训练后量化框架，在 calibration、权重舍入与原生整数执行中保持一致的激活表示，结合通道缩放、块 Hadamard 变换与动态 per-token 量化，无需策略重训练。其自定义 TensorRT 插件在 Ada GPU 和 Jetson AGX Orin 上以 W4A4 执行语言主干与迭代动作专家中的投影，在多个 benchmark 与真实机器人平台上评估。

此前 VLA 低比特推理常需重训练或难以兼顾延迟与行为保真度。该工作表明，训练后量化配合一致激活表示可免去策略重训练，并在 Orin 与桌面端取得高于浮点 TensorRT 的加速，同时通过部分层 W8A8 改善动作保真度。

核心机制是让 calibration、权重舍入与整数执行共用同一激活表示，避免量化误差在流程间不一致；通道缩放与块 Hadamard 变换处理激活异常值，动态 per-token 量化适配 token 级分布；自定义 TensorRT 插件使语言主干与迭代动作专家均以整数执行，语言注意力输出与前馈下投影保留八比特以稳住动作精度。

对端侧机器人产品，这意味着在 Jetson AGX Orin 等平台部署 GR00T、π_{0.5} 类 VLA 模型时，可用 W4A4 获得约 1.20 至 1.33 倍加速，并仅增加约 1 ms 延迟；混合 W4A4/W8A8 配置可把真实机器人任务成功率从 80.0% 提升到 92.5%，降低对策略重训练与高端 GPU 的依赖。

• 在基于 GR00T 或 π_{0.5} 的机器人产品中，优先对语言注意力输出与 FFN 下投影保留 W8A8，其余投影用 W4A4，以较小延迟代价换成功率提升。
• 为 Ada GPU 与 Jetson AGX Orin 构建可复用的 TensorRT 量化插件流水线，将 FoldQuantVLA 的 calibration 与执行表示统一，减少每次换模型的重新调优成本。
• 在 LIBERO、SimplerEnv 及自有真机任务上建立 W4A4 与混合精度配置的对照评测，用成功率与 Orin 延迟作为上线门槛。

• W4A4 与混合 W8A8 配置在 LIBERO、SimplerEnv 上的具体成功率数字未在证据中给出。
• 除 GR00T 与 π_{0.5} 外，该框架对其他 VLA 架构的迁移效果尚不明确。
• 训练后量化在分布外场景或长期运行中的稳定性缺乏证据。
• 自定义 TensorRT 插件的维护成本与跨平台兼容性未被量化。