- 类型
- 论文
- 来源
- arXiv AI
- 发布
- 2026年10月8日 06:58
- 状态
- 单一信源
发生了什么
该论文提出 SpatialOPSD,一种 on-policy 自蒸馏框架,目的是让 MLLM 把空间编码 agent 借助外部工具产生的已验证执行轨迹内化为自身能力,从而在推理时不再依赖工具。为缓解特权信息泄漏,作者引入 Repetition-Aware Distillation,结合重复掩码与 unlikelihood 正则化。实验显示,在多个基准上,其平均准确率高于 SFT 和 GRPO,并在空间与 OOD 数据集上表现更好。
为什么重要
此前空间推理多依赖外部工具调用编码 agent,推理开销高且依赖外部环境。该工作尝试把 agent 能力蒸馏进单一 MLLM,使其无需工具即可运行,并在平均值上超过 SFT 与 GRPO,指向工具依赖型空间推理范式的替代路径。
底层逻辑
机制核心是把编码 agent 的已验证轨迹当作特权信息,在 on-policy 自蒸馏中训练 MLLM 生成内部空间 Chain-of-Thought。由于训练时可见特权信息,易被模型直接复制,因此用重复掩码与 unlikelihood 正则化抑制泄漏,促使模型真正内化推理步骤而非记忆答案。
产品与商业机会
若该方法可复现,产品侧可减少对工具编排与外部依赖的运行时开销,降低推理成本与部署复杂度,使空间推理能力更易嵌入单模型。研发上需关注蒸馏数据构造、泄漏抑制与 OOD 泛化,验证其是否适用于生产级多模态任务。
- 在自有空间推理数据集上复现 SpatialOPSD,与 SFT、GRPO 做同基准对比,评估替换工具链的可行性。
- 把已验证编码 agent 轨迹整理为可复用蒸馏语料,构建面向内部模型的能力内化流水线。
- 针对工具依赖重的多模态场景,试点无工具单模型方案,测量推理延迟与准确率变化。
仍待确认
- 论文摘要未给出具体基准名称、模型规模与准确率数值,实际提升幅度待确认。
- Repetition-Aware Distillation 对特权信息泄漏的抑制效果缺乏消融细节。
- 该方法在真实生产任务与更大规模 MLLM 上是否同样有效尚不明确。
- 除空间推理外,能否迁移到其他 agent 能力领域未被验证。