ImLPR: 視覚基盤モデルを用いた画像ベースLiDAR位置認識
ImLPR: Image-based LiDAR Place Recognition using Vision Foundation Models
LiDAR点群を3チャネルの距離画像に変換し、視覚基盤モデルDINOv2を活用して位置認識を行う手法を提案。複数のデータセットで最先端性能を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Minwoo Jung, Lanke Frank Tarimo Fu, Maurice Fallon, Ayoung Kim
分類: cs.RO
原文アブストラクト
LiDAR Place Recognition (LPR) is a key component in robotic localization, enabling robots to align current scans with prior maps of their environment. While Visual Place Recognition (VPR) has embraced Vision Foundation Models (VFMs) to enhance descriptor robustness, LPR has relied on task-specific models with limited use of pre-trained foundation-level knowledge. This is due to the lack of 3D foundation models and the challenges of using VFM with LiDAR point clouds. To tackle this, we introduce ImLPR, a novel pipeline that employs a pre-trained DINOv2 VFM to generate rich descriptors for LPR. To the best of our knowledge, ImLPR is the first method to utilize a VFM for LPR while retaining the majority of pre-trained knowledge. ImLPR converts raw point clouds into novel three-channel Range Image Views (RIV) to leverage VFM in the LiDAR domain. It employs MultiConv adapters and Patch-InfoNCE loss for effective feature learning. We validate ImLPR on public datasets and outperform state-of-the-art (SOTA) methods across multiple evaluation metrics in both intra- and inter-session LPR. Comprehensive ablations on key design choices such as channel composition, RIV, adapters, and the patch-level loss quantify each component's impact. We release ImLPR as open source for the robotics community: https://github.com/minwoo0611/ImLPR.
関連論文
- 地形正規化垂直分布による森林LiDAR位置認識のスキャンコンテキスト失敗診断位置認識
- UpDown-SC: 重力正規化された上下包絡線スキャンコンテキストによる屋内LiDAR位置認識位置認識
- M3GA-Wild: 森林におけるマルチモーダル・マルチセッションの地上-空中位置認識のための大規模データセットとベンチマーク位置認識
- DXPR: 視覚基盤モデルを用いた深度ベースの視覚-LiDARクロスモーダル位置認識位置認識
- InLiER: 中間混合基数構造キーポイントトークン化による学習不要の異種LiDAR位置認識位置認識
- G-PROBE: 3D点群のためのクロスFOV位置認識と確信度結合型ローカライゼーション位置認識
