退化视觉条件下水下机器人的鲁棒跨模态基础模型感知

研究人员在 arXiv 发布论文，针对水下机器人在浑浊、低照度等退化视觉条件下的感知问题，提出一种跨模态融合方法。该方法使用冻结的 DINOv2 视觉编码器和声纳信息，通过退化感知门控融合机制，在五级退化基准上使平衡准确率从0.4610提升至0.6152，相对提升33.5%，声纳贡献比例从14.2%升至41.3%。

此前视觉-声纳融合研究多关注特征对齐和标称检测性能，本研究首次系统评估了视觉可靠性恶化时跨模态鲁棒性，并证明预训练视觉基础模型可与声纳互补，在极端退化下显著提升感知精度，为水下机器人感知提供了新思路。

DINOv2 作为冻结视觉编码器提供强视觉特征，声纳作为补充模态受光学退化影响较小。通过在不同退化程度下训练门控融合机制，模型可学习动态调整视觉和声纳的贡献权重，实现自适应跨模态重分配，在极端退化下增大声纳权重，从而提升整体鲁棒性。

该技术可提升水下机器人在恶劣环境下的感知可靠性，减少对高清光学成像的依赖。对产品研发而言，可降低高质量防水相机和补光设备的成本，同时增强在浑浊水域的作业能力，改善目标检测和导航性能，适用于海洋勘探、水下巡检等场景。

• 开发水下机器人感知模块，集成冻结 DINOv2 和声纳门控融合算法，提升浊水环境目标检测精度。
• 将退化感知融合策略嵌入现有水下视觉系统，通过软件升级适应不同水质，无需更换硬件。
• 针对油田巡检、管道检测等场景，推出低成本声纳-视觉融合套件，替代高成本光学方案。

• 该方法在其他视觉基础模型（如CLIP）上是否同样有效？
• 声纳数据的具体类型（如侧扫声纳、前视声纳）和获取成本未说明。
• 在真实水下环境中的泛化性能未验证，仅基于受控基准。
• 融合机制的计算开销和实时性是否符合实际部署要求未提及。