日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.12965

MAMMOTH: モダリティ欠損に頑健なオフロード移動のためのマルチモーダルエンドツーエンドポリシー

MAMMOTH: A Multi-Modal End-to-End Policy for Off-Road Mobility Robust to Missing Modality

シェア:XThreadsFacebookLINEはてブBluesky

RGB、熱画像、3D点群、自己速度などのマルチモーダル観測を融合し、モダリティ欠損に頑健なオフロード自律ナビゲーションポリシーを提案した。拡散ポリシーを用いて物理的に妥当な軌道と走行可能性ヒューリスティックを学習する。

詳しい要約

1. どんなもの?

MAMMOTHは、オフロード環境でのロバストな自律ナビゲーションのための統合エンドツーエンドポリシーである。RGB、Thermal、3D Pointcloud、Ego Velocityのマルチモーダル観測を融合し、視覚目標条件付きナビゲーションと未探索探索を実現する。モダリティドロップアウト方式で訓練され、推論時に欠落したモダリティへの一般化を可能にする。また、拡散ポリシーを用いて物理的に接地された軌道と内在的な走行可能性ヒューリスティックの同時確率分布を学習し、より安全で滑らかな軌道を選好する。

2. 先行研究と比べてどこがすごい?

先行研究はRGBモダリティへの過度な依存や、センサ入力の完全性への硬直的な依存があり、照明変化やセンサ劣化に脆弱だった。MAMMOTHは、マルチモーダル統合とモダリティドロップアウト訓練により、欠落モダリティへのロバスト性を実現し、さらに拡散ポリシーと走行可能性ヒューリスティックを統合することで、衝突回避と地形認識計画の性能を向上させた点が優れている。

3. 技術・手法の肝は?

手法の肝は、マルチモーダル観測の効率的な融合と、モダリティドロップアウト方式による訓練である。これにより、推論時に一部のモダリティが欠落しても動作可能となる。また、拡散ポリシーを用いて、物理的に接地された軌道と走行可能性ヒューリスティックの同時分布を学習し、このヒューリスティックを利用して安全で滑らかな軌道を選好する。

4. どうやって有効だと検証した?

異なるオフロード環境での広範な実世界ロボット実験(夜間運用を含む)により検証した。結果は、衝突回避、地形認識計画、欠落モダリティへの一般化において優れた性能を示した。

5. 議論はある?

要旨からは、特定の議論は不明である。ただし、モダリティドロップアウトの訓練方法や、拡散ポリシーの計算コスト、実環境でのセンサ劣化の程度による性能変化などが議論の対象となり得るが、要旨には記載がない。

6. 次に読むべき論文は?

要旨で参照されている先行研究は、traversability costmap estimationやvisual navigation taskに関する研究である。また、関連手法として、マルチモーダル融合や拡散ポリシーを用いたナビゲーション研究が挙げられる。具体的な論文名は要旨にないため、同分野の定番として、'Learning to Walk in the Dark'や'Diffusion Policy'などの論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahaan Kotian, Shivani Subramanyan, Suresh Sundaram

分類: cs.RO

原文アブストラクト

Reliable autonomous navigation in unstructured off-road environments remains a critical unsolved challenge due to extreme terrain diversity, drastic illumination variations and acute sensor degradation. Recent developments have approached the problem as a traversability costmap estimation or visual navigation task. However, many exhibit heavy reliance on RGB modality, leading to poor performance in varied illumination such as glares, shadows or low ambient light. Achieving robust generalization in such conditions requires integrating modalities that provide supplementary scene information. Such multi-modal methods suffer from a rigid dependency on the presence of near-perfect sensor inputs, leaving them unable to robustly handle sensor degradation or individual modality failure. To address these limitations, we introduce MAMMOTH (MAsking Multi-Modal inputs for Off-road Traversability Heuristic-informed navigation), a unified end-to-end navigation policy for robust off-road visual-goal-conditioned navigation and undirected exploration. Specifically, MAMMOTH efficiently fuses multi-modal observations (RGB, Thermal, 3D Pointcloud and Ego Velocity) and is trained with a modality dropout scheme, enabling it to generalize to missing modalities at inference time. Furthermore, we employ a diffusion policy to learn the joint conditional probability distribution of physically-grounded trajectories and a intrinsic traversability heuristic. MAMMOTH utilizes this heuristic to prefer safer, smoother trajectories. We validate MAMMOTH through extensive real-world robot experiments in distinct off-road environments, including night-time operation. Our results demonstrate superior performance, with significant improvements in collision avoidance, terrain-aware planning and generalization to missing modalities. The code and dataset used for this work will be made publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI