- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年9月29日 06:21
- 状态
- 单一信源
发生了什么
该论文指出,当前具身模型在失败后很少能自行修复错误,仅靠自身随机性或语言错误描述难以纠正,best-of-N 选择也无法在失败后挑出成功候选。作者将原因归于仅用成功示范训练、输入信息过窄,进而提出 Spotter:具身模型持续主导执行,VLM 并行监控,仅在检测到错误时介入反思并纠错后交还控制权。
为什么重要
此前的 VLM 主导方案由 VLM 规划每一步并调用具身模型,使 VLM 处于关键路径上。Spotter 把角色反转,VLM 只在确认错误时介入,既保留具身模型的执行连续性,又借助 VLM 的通用性和更丰富输入完成错误修复,在多环境和真实机器人上取得提升。
底层逻辑
具身模型只见过成功示范,输入信息不足以定位失败原因,因此缺乏自我纠错能力。VLM 可接收回合历史与文本等更多信息,具备更泛化的判断与修正能力。轻量本地筛查器负责低成本监测,只有错误被确认才触发 VLM 反思,从而避免每步调用 VLM 带来的开销与延迟。
产品与商业机会
对机器人产品与研发而言,这提供了一种把 VLM 作为纠错层而非规划层的架构思路,可在不改变原有执行模型的前提下提升成功率;由于 VLM 仅在错误确认时介入,可降低推理调用成本与延迟,但需要额外实现本地筛查器与错误检测逻辑。
- 在现有具身模型执行链路上加装轻量错误筛查模块,仅在失败附近调用 VLM 重试。
- 面向 RoboCasa、RoboTwin 2.0 等基准,复现并对比 Spotter 与 VLM 全程主导方案的成功率与调用成本。
- 将 Spotter 的错误检测与反思环节打包为可插拔中间件,适配 Qwen、GPT 等不同 VLM 后端。
仍待确认
- 轻量本地筛查器的具体实现方式与误报、漏报率未在证据中说明。
- VLM 介入带来的额外延迟与部署成本尚无量化数据。
- 真实机器人上的 53% 到 83% 提升来自何种任务与评测设置未明确。
- 该方法在训练数据包含失败示范时是否仍具优势,证据未覆盖。