日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2604.18831

屋内LiDARフレーム単位セマンティックセグメンテーションの視覚基盤モデルからの蒸留による実現可能性

Feasibility of Indoor Frame-Wise Lidar Semantic Segmentation via Distillation from Visual Foundation Model

シェア:XThreadsFacebookLINEはてブBluesky

視覚基盤モデル(VFM)による画像セグメンテーション結果を利用し、2D-to-3D蒸留パイプラインで屋内LiDARスキャンのフレーム単位セマンティックセグメンテーションモデルを訓練する手法を提案し、手動アノテーションなしで実用的な精度を達成できることを示した。

詳しい要約

1. どんなもの?

屋内の lidar scan を frame 単位で semantic segmentation する深層学習モデルを、人手アノテーションなしで訓練できるか検討した研究。各 lidar scan に VFM で処理した camera 画像を対応付け、2D-to-3D distillation を行う。屋内 SLAM データセットで評価し、pseudo-label 評価で最大 56% mIoU、実ラベルで約 36% mIoU を達成。

2. 先行研究と比べてどこがすごい?

VFM による画像 frame の segmentation と、それを用いた 2D-to-3D distillation は autonomous driving 場面で成功が示されている。しかし屋内場面では未検証だった。本研究は屋内場面でも同様の distillation が成立することを示し、人手アノテーション不要の屋内 lidar semantic segmentation の可能性を提示した点が新しい。

3. 技術・手法の肝は?

各 lidar scan と VFM で処理した camera 画像を対にして、frame-wise な 2D-to-3D distillation pipeline を適用する。VFM が生成する画像 segmentation を教師として lidar scan の segmentation モデルを訓練する。屋内 SLAM データセットを用い、pseudo-label で下流評価を行う。

4. どうやって有効だと検証した?

屋内 SLAM データセットを用いて評価した。pseudo-label による下流評価に加え、意味情報付きの屋内 lidar frame-wise データセットが他にないため、小規模な手動アノテーション済み lidar データセットを用意して検証した。結果、pseudo-label 評価で最大 56% mIoU、実ラベルで約 36% mIoU を得た。

5. 議論はある?

屋内場面でも cross-modal distillation が人手アノテーションなしで機能する可能性が示された。一方、実ラベルでの mIoU は約 36% にとどまり、pseudo-label 評価との差も大きい。屋内 lidar frame-wise の意味付きデータセットが存在しないため、評価用の小規模手動アノテーションに依存している点が限界として考えられる。

6. 次に読むべき論文は?

要旨では autonomous driving 場面での 2D-to-3D distillation の成功が参照されている。関連手法として Visual Foundation Models (VFMs) や 2D-to-3D distillation、屋内 SLAM データセット、pseudo-label 評価が挙げられる。具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haiyang Wu, Juan J. Gonzales Torres, George Vosselman, Ville Lehtola

分類: cs.CV, cs.RO

原文アブストラクト

Frame-wise semantic segmentation of indoor lidar scans is a fundamental step toward higher-level 3D scene understanding and mapping applications. However, acquiring frame-wise ground truth for training deep learning models is costly and time-consuming. This challenge is largely addressed, for imagery, by Visual Foundation Models (VFMs) which segment image frames. The same VFMs may be used to train a lidar scan frame segmentation model via a 2D-to-3D distillation pipeline. The success of such distillation has been shown for autonomous driving scenes, but not yet for indoor scenes. Here, we study the feasibility of repeating this success for indoor scenes, in a frame-wise distillation manner by coupling each lidar scan with a VFM-processed camera image. The evaluation is done using indoor SLAM datasets, where pseudo-labels are used for downstream evaluation. Also, a small manually annotated lidar dataset is provided for validation, as there are no other lidar frame-wise indoor datasets with semantics. Results show that the distilled model achieves up to 56% mIoU under pseudo-label evaluation and around 36% mIoU with real-label, demonstrating the feasibility of cross-modal distillation for indoor lidar semantic segmentation without manual annotations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI