面向高效 VLA 推理的算法-架构协同设计：基于推测推理与验证

arXiv 发布研究论文，针对视觉-语言-动作（VLA）模型的高计算成本和预测动作长度受限问题，提出 SpecVLA 算法-系统协同设计框架。该框架利用机器人环境的活跃/非活跃状态切换，在非活跃状态进行长动作推测，在活跃状态选择性验证，并构建异构架构（GPU 与专用硬件模块）及推测数据流。在 LIBERO 和 ManiSkill 基准上对 OpenVLA 和 RDT 的评估显示，显著降低端到端延迟，同时保持任务成功率。

此前 VLA 模型虽性能出色，但计算成本高、预测动作长度短，难以实时部署。虽有专属加速器 Dadu-Corki，但未利用机器人环境交互模式。SpecVLA 首次将状态感知调度与推测验证结合，在保持任务成功率的同时显著降低延迟，为实时具身智能推理提供了新路径，可能推动实际机器人应用中的高效部署。

机器人环境天然存在活跃与非活跃状态：活跃状态下动作精确性关键，非活跃状态下动作影响有限。SpecVLA 利用该差异，在非活跃状态进行长动作长度推测，在活跃状态选择性验证，从而平衡动作长度、推理延迟和任务可靠性。算法侧提出状态感知执行模式和小型验证模型（sVLA），采用差分残差和分块混合精度量化；系统侧采用 GPU 与专用硬件模块的异构架构，并通过推测数据流实现并行执行，从而减少端到端延迟。

对依赖 VLA 模型的机器人产品（如自主操作、具身智能系统），SpecVLA 有望在不牺牲任务成功率的前提下显著降低推理延迟，提高实时响应能力。这直接影响产品的用户体验和部署可行性，可能降低对高端 GPU 计算资源的依赖，推动边缘或嵌入式场景的应用，并缩短研发中的模型部署周期。

• 在工业机器人或服务机器人产品中，集成 SpecVLA 的推测推理机制，以降低实时操作延迟，提升任务响应速度。
• 基于 SpecVLA 的异构架构，开发低功耗的专用硬件模块，以降低整体计算成本和功耗，适用于移动或嵌入式机器人平台。
• 利用状态感知调度策略，优化现有 VLA 模型的推理流程，在保持任务成功率的前提下减少计算资源占用。

• SpecVLA 在除 LIBERO 和 ManiSkill 之外的其他任务基准上的表现如何？
• SpecVLA 对不同类型的 VLA 模型（如不同规模、不同架构）的适用性是否一致？
• 异构架构中专用硬件模块的实际成本和量产可行性未在证据中说明。
• 长动作推测在真实物理环境中的可靠性是否受传感器噪声等因素影响，证据未提供相关验证。