RISE：路侧基础设施序列理解——结合3D跟踪与结构化视觉语言推理

RISE是一个用于路侧基础设施序列理解的框架，结合3D跟踪与结构化视觉语言推理。其图像方法利用SAM3视频身份和校准引导的掩码一致性，在无LiDAR或任务特定3D训练下恢复多视角3D轨迹。在六个交叉口的20个片段中，MOTA达66.9。其RISE-VQA数据集含33,910个QA对，覆盖16个交叉口和61个路侧视角。RISE-Bench评估显示域自适应和时序上下文带来益处，但空间定位、未来定位和交互推理仍有挑战。

此前路侧感知依赖LiDAR或特定场景训练，且缺乏同时覆盖3D跟踪与视觉语言推理的基准。RISE提出无需LiDAR的图像方法，可跨交叉口迁移，并构建了大规模RISE-VQA数据集及RISE-Bench基准，为路侧感知评估提供了更全面的手段，有助于推动自动驾驶和智能交通领域的研究。

RISE利用SAM3的视频身份关联，并通过校准引导的掩码一致性进行多视角身份匹配，从而在不进行显式3D训练的情况下获得度量级3D轨迹。其校准条件化几何使方法能适应不同布局的交叉口。对视觉语言推理，采用人工审核的MLLM流水线筛选高价值片段，并用受限全上下文Oracle构建基于边界框的预测性QA，避免向被评估模型泄露未来信息。

RISE可直接用于路侧感知设备（如智能摄像头）的3D追踪，减少对LiDAR的依赖，降低成本。其数据集和基准可用于评估和优化路侧视觉语言模型，提升场景理解的准确性。但当前空间定位和未来预测准确性有限，需在真实产品中验证其鲁棒性和实时性。

• 开发基于RISE的无LiDAR路侧3D追踪模块，集成到智能交通管理系统中。
• 利用RISE-VQA数据集训练路侧视觉语言模型，提升对复杂场景的语义问答能力。
• 针对RISE-Bench暴露的空间定位短板，优化模型的空间推理能力，并形成可迭代的评测流程。

• RISE在更多真实路口（非精选片段）的3D跟踪性能如何？
• RISE-VQA的QA对是否包含足够的交互推理多样性和难度？
• RISE方法在不同天气、光照条件下的鲁棒性未在证据中明确。
• RISE的实时性是否满足实际路侧部署要求？