日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

点群レジストレーションarXiv:2302.05210

マルチモーダル知識の転移による3D点群レジストレーションの高精度化

Boosting 3D Point Cloud Registration by Transferring Multi-modality Knowledge

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みマルチモーダルモデルの知識を点群のみで使える新たな記述子ネットワークに転移し、3D点群レジストレーション精度を向上させた研究。

著者: Mingzhi Yuan, Xiaoshui Huang, Kexue Fu, Zhihao Li, Manning Wang

分類: cs.RO

原文アブストラクト

The recent multi-modality models have achieved great performance in many vision tasks because the extracted features contain the multi-modality knowledge. However, most of the current registration descriptors have only concentrated on local geometric structures. This paper proposes a method to boost point cloud registration accuracy by transferring the multi-modality knowledge of pre-trained multi-modality model to a new descriptor neural network. Different to the previous multi-modality methods that requires both modalities, the proposed method only requires point clouds during inference. Specifically, we propose an ensemble descriptor neural network combining pre-trained sparse convolution branch and a new point-based convolution branch. By fine-tuning on a single modality data, the proposed method achieves new state-of-the-art results on 3DMatch and competitive accuracy on 3DLoMatch and KITTI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI