- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年8月24日 11:43
- 状态
- 单一信源
发生了什么
Pointing-VLA 是基于 Embodied-R1 的 VLA 模型,通过类型化隐藏状态空间读出(含 OFG 热图和视觉轨迹)替代文本坐标,在 Bridge/WidowX 四任务上平均成功率 72.9%,无需 Bridge 特定微调。其 OFG/接触头迁移至 NORA-1.5,控制时间减少超 20 倍;类型化头比文本解码快 6.68-6.90 倍;作为 π0.5 策略的空间引导时,真实机器人成功率从 52.7% 提升至 80.7%。
为什么重要
此前 VLA 模型通常用文本来序列化空间坐标,或使用不透明的动作令牌,接口脆弱。Pointing-VLA 将空间信息通过专用几何头部直接输出,提升了成功率、速度和可检查性,且无需针对特定数据集微调即达 SOTA,为机器人操作中的多模态推理与执行提供了更高效的接口方案。
底层逻辑
Pointing-VLA 使用几何头预测归一化点、对象功能定位(OFG)热图和视觉轨迹,避免将几何信息序列化为文本。显式执行契约将 PICK 分配给源条件 OFG,PLACE 分配给 Pointing,提供阶段对齐的空间目标。类型化读出绕开文本解码,降低计算开销,并增强了模块间可解释性,使空间定位更直接、高效。
产品与商业机会
对于机器人产品,Pointing-VLA 可提升视觉-语言-动作操作的成功率,同时减少计算延迟和控制时间,降低硬件成本。其类型化架构便于调试和集成,可加速从仿真到真实场景的迁移,改善用户对自主操作可靠性的体验。
- 在机械臂拣选与放置任务中集成 Pointing-VLA 作为空间引导模块,替代传统文本坐标输出,以提升真实场景成功率。
- 利用 OFG/接触读出迁移到不同硬件平台(如 NORA-1.5),减少控制器耗时,优化实时操作性能。
- 作为 π0.5 等行动策略的即插即用空间先验,提升多视觉环境下的自主操作稳健性。
- 开发基于类型化空间读出的可视化调试工具,增强开发者对机器人决策过程的可检查性。
仍待确认
- Pointing-VLA 在更多任务和真实复杂环境中的泛化表现是否稳定?
- 类型化空间读出对其他 VLA 架构的适用性是否一致?
- OFG 热图对不同物体材质的敏感性如何,是否可能引入系统性偏差?
- 与文本解码相比,类型化头在极端位置或遮挡情况下的准确率如何?