マルチモーダル知識の転移による3D点群レジストレーションの高精度化
Boosting 3D Point Cloud Registration by Transferring Multi-modality Knowledge
事前学習済みマルチモーダルモデルの知識を点群のみで使える新たな記述子ネットワークに転移し、3D点群レジストレーション精度を向上させた研究。
著者: Mingzhi Yuan, Xiaoshui Huang, Kexue Fu, Zhihao Li, Manning Wang
分類: cs.RO
原文アブストラクト
The recent multi-modality models have achieved great performance in many vision tasks because the extracted features contain the multi-modality knowledge. However, most of the current registration descriptors have only concentrated on local geometric structures. This paper proposes a method to boost point cloud registration accuracy by transferring the multi-modality knowledge of pre-trained multi-modality model to a new descriptor neural network. Different to the previous multi-modality methods that requires both modalities, the proposed method only requires point clouds during inference. Specifically, we propose an ensemble descriptor neural network combining pre-trained sparse convolution branch and a new point-based convolution branch. By fine-tuning on a single modality data, the proposed method achieves new state-of-the-art results on 3DMatch and competitive accuracy on 3DLoMatch and KITTI.
関連論文
- 点群レジストレーションにおける最大クリークと最大合意の関係点群レジストレーション
- CVSD-Reg: 視覚的意味的先行知識の蒸留による頑健なLiDARレジストレーション点群レジストレーション
- R-SLPR: コントラスト学習を用いた領域ベースの小規模から大規模への点群レジストレーション点群レジストレーション
- 一般化CVO:二次リーマン最適化による高速・対応点不要の局所点群レジストレーション点群レジストレーション
- Paired-CSLiDAR: 高さ層別レジストレーションによる空中・地上LiDARのクロスソース位置姿勢精緻化点群レジストレーション
- 任意の点を位置合わせ:フローマッチングによる3D点群レジストレーションのスケーリング点群レジストレーション
