无监督跨模态学习用于图像到点云配准

于红博

摘要: 将2D和3D传感器模态进行桥接对于自主系统中的强大感知至关重要。然而，图像到点云（I2P）注册仍然具有挑战性，这是由于纹理丰富但深度模糊的图像与稀疏但度量精确的点云之间存在语义几何差距，以及现有方法收敛到局部最优解的倾向。为了克服这些限制，我们引入了CrossI2P，这是一个自监督框架，将跨模态学习和两阶段注册统一到一个端到端的流程中。首先，通过双通路对比学习，我们学习了一个几何语义融合的嵌入空间，实现了无标记、双向对齐2D纹理和3D结构。其次，我们采用了一个粗到精的注册范式：一个全局阶段通过联合模态内上下文和跨模态交互建立超点-超像素对应关系，随后进行几何约束的点级细化以实现精确注册。第三，我们采用了一种动态训练机制，通过梯度归一化平衡特征对齐、对应关系细化和姿态估计的损失。大量实验证明，CrossI2P在KITTI Odometry基准上比现有方法提高了23.7%，在nuScenes上提高了37.9%，显著提高了准确性和鲁棒性。

更新时间: 2025-09-19 11:29:22

领域: cs.CV,cs.AI

下载: http://arxiv.org/abs/2509.15882v1