マルチモーダル自己教師あり学習によるシーン非依存な走行可能領域のラベリングと推定

- ロボットの走行可能領域(traversability)を推定するための、multimodal self-supervised framework を提案した研究。 - 走行可能/不可能ラベルを自動生成する annotation pipeline と、そのラベルで学習する推定ネットワークから構成。 - 都市・off-road・campus 環境を対象に、ラベリングと推定の両方を扱う。

- 従来の self-supervised learning 手法は non-traversable regions の特徴を捉えにくい点を指摘。 - 多くの prior works は単一 modality に限定され、heterogeneous sensory modalities の相補性を活かしていない。 - 本手法は multimodal 統合により、既存 self-supervised state-of-the-art 比で全評価データセットで IoU を 1.6-3.5% 改善。

- annotation pipeline は footprint・LiDAR・camera データを vision foundation model への prompt として統合し、semantic と geometric の両 cue を考慮したラベルを生成。 - 生成ラベルを用い、異なる modality を decoupled に学習する dual-stream network を訓練。 - sparse LiDAR-based supervision を加え、pseudo labels 由来のノイズを緩和。

- 都市・off-road・campus 環境で extensive experiments を実施。 - 自動ラベリング手法は多様なデータセットで約 88% IoU を一貫して達成。 - 推定ネットワークは既存 self-supervised state-of-the-art より全評価データセットで高い IoU(1.6-3.5% 改善)を示した。

- pseudo labels のノイズを sparse LiDAR-based supervision で緩和する設計上の議論がある。 - 単一 modality ではなく multimodal 統合の相補性を重視する点が議論の焦点。 - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- 比較対象である既存 self-supervised state-of-the-art の traversability estimation 手法。 - annotation pipeline で用いられる vision foundation model に関する研究。 - LiDAR・camera の multimodal fusion や pseudo label ノイズ緩和に関する関連手法。