IndustrialVLA-Bench：开放机器人策略模型的可追溯多轴评测

arXiv 论文提出 IndustrialVLA-Bench，对六个已发布的 VLA 与 WAM 系统按统一报告框架做评测，分别测 LIBERO 清洁能力、LIBERO-Plus 非语言鲁棒性、LIBERO-Para 指令敏感性和执行成本，每个任务分数由三个不同随机种子下的完整评测聚合。结果显示六系统清洁 LIBERO 平均分仅差 1.58 分，而鲁棒性与改写总结分别相差 14.62 和 31.08 分；仅取三个协议忠实系统比较仍保持类似差距。

此前 VLA 与 WAM 常在不同评测协议下报告，能力、鲁棒性、语言敏感性和部署成本难以横向比较。该工作把两者放进同一报告框架，并区分协议忠实、近似复现与待验证条目，使跨范式比较第一次有了可追溯的边界，也暴露清洁分数无法区分的系统在鲁棒性与指令改写上存在明显差异。

评测把清洁能力、非语言鲁棒性、指令改写敏感性和推理延迟、峰值内存、运行模式拆成独立轴，并要求固定 checkpoint 与推理配置、多随机种子聚合。这样做能压低单一任务分数带来的噪声，把差异归因到鲁棒性和语言泛化；协议忠实条目才支持严格比较，弱证据条目被显式隔离，避免把复现偏差误读为模型能力差距。

对选型和研发而言，只看清洁任务分数可能掩盖模型在真实扰动和指令改写下的退化，六系统清洁分差仅 1.58 分而鲁棒性分差达 14.62 分，意味着采购评估需加入鲁棒性与延迟、显存成本指标。评测同时给出推理延迟与峰值内存，便于把模型能力与部署成本一起纳入决策。

• 在机器人策略选型流程中引入鲁棒性和指令改写测试集，作为清洁任务分数之外的准入门槛。
• 按该框架记录固定 checkpoint、推理配置与多种子结果，建立可追溯的内部评测档案。
• 依据延迟和峰值内存数据，为不同算力档位匹配 VLA 或 WAM 方案。

• 六个系统的具体名单及各自协议忠实等级未在证据中列出。
• WAM 与 VLA 在鲁棒性和语言敏感性上的差距由何种设计导致，证据未说明。
• 执行成本指标是否覆盖不同硬件平台，证据未说明。
• 1.58、14.62、31.08 等分差的统计显著性未在证据中给出。