面向视觉语言模型空间推理的路由式3D特权蒸馏

针对视觉语言模型空间推理薄弱的问题，研究者提出 GPD（Geometry-Privileged Distillation）：把深度、语义和鸟瞰图（BEV）线索渲染为紧凑文本，与参考答案一起作为特权信息路由给教师模型，仅在错误轨迹上施加特权 KL 以增强 GRPO，部署模型仍只使用 RGB 输入。在 4B 主干上，GPD 在 VSI-Bench 取得 57.1，在 MindCube、SPARBench、MMSI-Bench、ViewSpatial 上平均 37.6，超过 GRPO 和答案特权 OPSD。

此前方案要么在推理时注入 3D，带来架构改动与延迟成本，要么只用结果奖励监督最终答案，无法定位源于感知的空间错误。GPD 把真实几何证据放在训练期的教师侧，部署时保持纯 RGB，改变了空间能力提升的代价结构。

空间错误多源于感知层，误判的深度或方向只能靠场景真实几何纠正，而 3D 扫描语料本身已提供该几何。GPD 将其作为 on-policy 自蒸馏中的特权信息：按问题条件化路由深度、语义、BEV 文本线索给教师，并只对错误轨迹计算特权 KL，从而与 GRPO 互补。消融显示 3D 与答案特权互补、问题条件化路由优于全上下文注入、限制在错误轨迹上蒸馏更有效。

对产品与研发而言，空间推理能力的提升不必以推理期 3D 输入为代价，部署端仍可维持 RGB-only 管线，避免 3D 架构与延迟开销。训练侧需要具备 3D 扫描或深度、BEV 标注的数据与可渲染为文本的线索，并改造蒸馏与 RL 流程，仅对错误轨迹施加特权信号。

• 在已有 3D 扫描或深度标注数据的机器人、自动驾驶、AR 场景中，构建 RGB-only 空间推理训练管线。
• 将深度、语义、BEV 线索文本化路由作为教师侧特权模块，接入现有 GRPO 训练框架。
• 对空间问答类产品，用仅错误轨迹的特权 KL 替代全量监督，降低训练信号噪声。

• 57.1 与 37.6 的对比是否在相同训练预算与数据条件下取得，证据未说明。
• GPD 在 4B 以外更大或更小主干上的效果是否一致，尚未确认。
• 深度、语义、BEV 文本线索的生成成本与依赖的标注质量未给出。
• 是否有独立复现或第三方基准结果，目前仅有单一 arXiv 来源。