屋内LiDARフレーム単位セマンティックセグメンテーションの視覚基盤モデルからの蒸留による実現可能性
Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model
視覚基盤モデル(VFM)による画像セグメンテーション結果を利用し、2D-to-3D蒸留パイプラインで屋内LiDARスキャンのフレーム単位セマンティックセグメンテーションモデルを訓練する手法を提案し、手動アノテーションなしで実用的な精度を達成できることを示した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Haiyang Wu, Juan J. Gonzales Torres, George Vosselman, Ville Lehtola
分類: cs.CV, cs.RO
原文アブストラクト
Frame-wise semantic segmentation of indoor lidar scans is a fundamental step toward higher-level 3D scene understanding and mapping applications. However, acquiring frame-wise ground truth for training deep learning models is costly and time-consuming. This challenge is largely addressed, for imagery, by Visual Foundation Models (VFMs) which segment image frames. The same VFMs may be used to train a lidar scan frame segmentation model via a 2D-to-3D distillation pipeline. The success of such distillation has been shown for autonomous driving scenes, but not yet for indoor scenes. Here, we study the feasibility of repeating this success for indoor scenes, in a frame-wise distillation manner by coupling each lidar scan with a VFM-processed camera image. The evaluation is done using indoor SLAM datasets, where pseudo-labels are used for downstream evaluation. Also, a small manually annotated lidar dataset is provided for validation, as there are no other lidar frame-wise indoor datasets with semantics. Results show that the distilled model achieves up to 56% mIoU under pseudo-label evaluation and around 36% mIoU with real-label, demonstrating the feasibility of cross-modal distillation for indoor lidar semantic segmentation without manual annotations.
関連論文
- 高解像度深度と超低解像度RGBによるプライバシー保護セマンティックセグメンテーションセマンティックセグメンテーション
- CLFTv2: 階層的特徴ピラミッドによる効率的なカメラ-LiDAR融合セマンティックセグメンテーションセマンティックセグメンテーション
- Contextrast++: セマンティックセグメンテーションのためのロバストなマルチスケール文脈対比学習セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:フィールドロボティクスにおける堅牢な屋外シーン理解のためのDINOv3活用セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:屋外シーン理解のためのクエリベースセグメンテーションと空間コンテキスト拡大の探求セマンティックセグメンテーション
- Invascal: 不確実性を考慮したLiDARレンジビューセマンティックセグメンテーションのための逆空孔自己校正セマンティックセグメンテーション
