LeRF：为视角采择推理学习参考坐标系

论文提出 LeRF 框架，训练视觉语言模型在需要从他人或想象观察者视角推理时，构建并使用显式参考坐标系。给定图像和查询，模型先判断是否需要坐标系，若需要则定位参考实体并预测坐标系原点与以实体为中心的参考系；轻量渲染器将其叠加到图像上供后续推理，无需外部感知模型或显式 3D 重建。训练上先做监督微调以学会选择性调用工具和预测坐标系，再用空间 VQA 对做强化学习。多个视角采择基准上，LeRF 稳定优于其骨干模型，并优于现有开源方法。

此前 VLM 在需要换位视角时倾向默认相机视角，视角采择是明显短板。LeRF 把参考坐标系变成模型可学习、可显式调用的中间表示，而非依赖外部 3D 重建或感知模块，为视角相关空间推理提供了一条轻量化的新路径。

机制是两段式：先由监督微调让模型学会判断何时调用坐标系工具，并预测参考实体的原点与坐标轴；随后用强化学习在空间 VQA 上优化基于该坐标系的推理。坐标框由轻量渲染器叠加回图像，使后续推理可直接利用视觉线索，从而把抽象视角问题转成图像上的显式参照。

对做空间理解、机器人和 AR 类产品的团队，这意味着视角推理能力可能通过训练而非外部 3D 管线获得，降低系统复杂度和集成成本。研发上可复用该两阶段微调思路；产品上可改善需换位判断的问答与交互体验，但需注意其效果依赖骨干模型与训练数据。

• 在空间 VQA 或图像问答产品中加入可选的参考坐标系中间输出，用于用户需要从他人视角判断方位的场景。
• 面向机器人或 AR 导航，将坐标系预测作为可微调模块接入现有 VLM，减少对外部 3D 重建或感知模型的依赖。
• 构建以实体为中心坐标框标注的评测集，用于衡量和对比不同模型的视角采择能力。

• LeRF 在哪些具体基准和数据集上评测，提升幅度是多少？
• 论文是否公开代码、模型权重或训练数据？
• 该框架在真实机器人或 AR 产品中的延迟与部署成本如何？
• 参考坐标系预测错误时，模型是否有回退机制？