See2Think：多模态模型是否真正利用中间视觉状态？

See2Think是一个统一的评估框架，包含See2ThinkBench（1200个开放性视觉问题，12类任务）和Visual Action-of-Thought（VAoT）。论文用它测试了多个多模态大模型，发现视觉推理强烈依赖于模型和环境，没有单一设置始终最优。过程分析显示模型通常能选择相关视觉操作，但忠实渲染是最大瓶颈；高反馈吸收不必然提升准确率，而在任务相关损坏反馈下，准确率下降超过10个百分点。

此前基准覆盖狭窄或包含文本可解样本，只重视最终答案而忽视中间视觉状态的生成与使用。See2Think通过1200个开放问题和四种受控推理设置系统诊断了模型对中间视觉状态的依赖程度，揭示了渲染忠诚度是核心瓶颈且依赖具有环境性，为评估和优化多模态推理提供了更科学的方法。

VAoT记录文本思想、视觉动作、渲染状态及后续推理，在四种受控设置下对比模型行为。通过损坏反馈干预（替换为任务相关错误中间状态）观察准确率变化，验证模型是否真的依赖视觉状态。实验表明模型虽会引用视觉操作，但渲染质量对最终结果影响显著，且反馈吸收不直接转化为性能提升。

对产品的影响：多模态模型的视觉推理能力存在环境依赖性，产品中需根据任务类型选择推理路径；渲染引擎的质量直接影响准确性，可能限制依赖中间视觉状态的人机交互产品（如AI设计助理、机器人规划）的可靠性。需在部署前对模型进行See2Think式诊断，避免因渲染失真导致的错误输出。

• 基于VAoT框架开发可视化调试工具，帮助开发者发现模型在特定任务上的渲染瓶颈
• 集成更可靠的渲染引擎（如结构化矢量图而非位图）以提升中间视觉状态的忠实度
• 设计自适应推理策略，根据任务类别动态切换是否使用及如何使用中间视觉状态
• 利用See2ThinkBench的1200个问题构建评估套件，用于对比不同多模态模型的视觉推理健壮性

• 渲染忠诚度瓶颈是否对所有类型多模态模型（如图像、视频、3D）一致？
• 能否通过训练数据增强或模型结构改进直接提升中间视觉状态的保真度？
• 在真实交互场景（如用户指代、动态环境）中，See2Think的诊断结果能否推广？
• 除了渲染，是否还有其他未被识别的瓶颈（如图文对齐或视觉操作选择）？