视觉提示是否足够？渐进式视觉脚手架下VLM空间推理研究

一项针对视觉语言模型（VLM）空间推理的研究引入SPaRC基准和渐进式视觉脚手架，在保持视觉模态的同时使空间结构更易获取。在多个VLM上，脚手架将任务准确率较原始视觉设置提升最多34.0个百分点，并能与GRPO训练互补，额外提升最多4.6个百分点。分析显示增益主要来自接地相关错误减少，规则推理仍然困难。

此前研究多关注VLM在视觉与推理上的失败，但视觉呈现方式对性能的影响尚不明确。该研究提出轻量级输入侧脚手架，无需改变底层推理问题即可显著提升准确率，表明视觉呈现是决定基准测量内容的关键因素，为改进VLM评估和训练提供了新方向。

脚手架通过视觉上的结构增强（如网格高亮等）降低模型将视觉元素映射到空间概念的难度，从而减少接地错误。GRPO训练本身在原始输入上增益近零，但结合脚手架后产生额外提升，说明视觉呈现与强化学习存在交互，共同促进模型表现。

对依赖VLM进行空间理解的产品（如具身智能、视觉问答系统）而言，仅调整输入图像的视觉呈现方式即可大幅提升准确率，无需修改模型架构或重新训练，可降低成本并加速部署。同时，评估基准需考虑视觉呈现因素，否则可能误导模型能力判断。

• 开发自动生成视觉脚手架的中间层工具，优化VLM输入，使现有模型在多模态产品中表现更稳定。
• 在空间推理型产品中内置脚手架开关，供用户根据任务复杂度切换，提升不同场景下的准确率。
• 设计基于脚手架的分类方案，帮助团队区分模型接地能力与推理短板，指导针对性调优。

• 脚手架的具体形式包括哪些？是否对所有VLM类型都有效？
• 额外增益4.6个百分点是否具有普遍性，或在特定条件下出现？
• 视觉呈现的改善是否能推广到非网格类空间任务？