优化潜在视觉目标表征，提升多模态推理能力

arXiv AI 发布论文《Scaffolding Minds》，提出针对多模态潜在推理的两阶段训练框架（SFT加RL）的改进方法，通过引入专用脚手架编码器优化潜在目标表征，同时学习RL采样器的均值与方差，在FrozenLake空间规划等九个视觉中心推理基准上平均提升5.2%。

此前潜在推理依赖现成视觉编码器，可能产生次优表征；且RL阶段仅通过确定性正则化约束策略漂移，缺乏探索。Scaffolding Minds引入专用编码器并提供优化目标，同时学习采样器的均值和方差，为探索开辟新路径，显著提升性能。

SFT阶段利用专用编码器学习与下游推理任务对齐的潜在目标，改善视觉链式思考的起点；RL阶段学习均值和方差，使采样器在潜在空间中生成多样轨迹，从而增加探索，两个改进互补带来增益。

该方法可提升多模态推理模型在空间规划等视觉任务的准确率，尤其在大规模网格地图上增益达19%。但需额外训练一个编码器，可能增加训练成本，对推理延迟影响未知。

• 将Scaffolding Minds应用于视觉问答产品，以提升空间推理准确率。
• 基于其潜在空间优化思路，开发更高效的多模态模型微调流程。
• 探索将该方法适配至具身智能或自动驾驶场景，优化空间规划能力。

• 该方法在非视觉推理任务上的泛化效果未知。
• 额外的脚手架编码器具体训练开销和推理延迟影响未披露。
• 与现有开源多模态模型（如LLaVA、Qwen-VL）的可结合性未说明。