日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2604.19267

マルチモーダル身体性認識ナビゲーショントランスフォーマー

Multimodal embodiment-aware navigation transformer

シェア:XThreadsFacebookLINEはてブBluesky

複数のプラットフォームと環境からのデータを用いて、RGB画像、3D LiDAR点群、目標埋め込み、ロボットの身体性記述子を融合するトランスフォーマーベースのナビゲーションポリシーを提案し、拡散モデルによる軌道生成と衝突予測ヘッドによりロバスト性を向上させた。

詳しい要約

1. どんなもの?

- 目的: 地上ロボットの目標条件付きナビゲーションにおいて、分布シフト下での衝突回避能力の低下を改善する。 - 提案: ViLiNTというマルチモーダル・アテンションベースのポリシー。 - 特徴: RGB画像、3D LiDAR点群、目標埋め込み、ロボットのembodiment記述子をTransformerで融合し、拡散モデルで軌道生成。 - 追加: 経路クリアランス予測ヘッドで軌道をスコアリング・ランキング。 - 効果: 3つのシミュレーション環境で成功率が166%向上、実世界でも確認。

2. 先行研究と比べてどこがすごい?

- 先行: 視覚のみのベースラインNoMaD(state-of-the-art)と比較。 - 優位: マルチモーダル融合と衝突予測機構により、分布シフト下でのロバスト性が向上。 - 結果: 成功率が平均166%改善。 - 実世界: ローバーによる障害物フィールドでのナビゲーションで性能確認。

3. 技術・手法の肝は?

- 入力: RGB画像、3D LiDAR点群、目標埋め込み、embodiment記述子。 - 融合: Transformerアーキテクチャで幾何・外観手がかりを統合。 - 生成: 拡散モデルを条件付けしてナビゲーション可能な軌道を生成。 - ランキング: 自動生成オフラインラベルを用いて経路クリアランス予測ヘッドを訓練し、軌道をスコアリング。 - 適応: embodimentトークンによりロボットの寸法に応じた軌道生成・選択が可能。

4. どうやって有効だと検証した?

- シミュレーション: 3つの環境で評価。 - 比較: 視覚のみのベースラインNoMaDと比較し、成功率が平均166%向上。 - 実世界: ローバーを障害物フィールドでナビゲーションさせ、性能を確認。 - 結果: マルチモーダル融合と衝突予測機構の組み合わせがオフロードナビゲーションのロバスト性を改善することを示唆。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- NoMaD(視覚のみのベースライン) - 拡散モデルを用いたナビゲーション(例: Diffusion Policy) - Transformerベースのナビゲーション(例: ViNT, GNM) - マルチモーダル融合ナビゲーション(例: 3D LiDARとRGBの融合)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Louis Dezons, Quentin Picard, Rémi Marsal, François Goulette, David Filliat

分類: cs.RO

原文アブストラクト

Goal-conditioned navigation models for ground robots trained using supervised learning show promising zero-shot transfer, but their collision-avoidance capability nevertheless degrades under distribution shift, i.e. environmental, robot or sensor configuration changes. We propose ViLiNT a multimodal, attention-based policy for goal navigation, trained on heterogeneous data from multiple platforms and environments, which improves robustness with two key features. First, we fuse RGB images, 3D LiDAR point clouds, a goal embedding and a robot's embodiment descriptor with a transformer architecture to capture complementary geometry and appearance cues. The transformer's output is used to condition a diffusion model that generates navigable trajectories. Second, using automatically generated offline labels, we train a path clearance prediction head for scoring and ranking trajectories produced by the diffusion model. The diffusion conditioning as well as the trajectory ranking head depend on a robot's embodiment token that allows our model to generate and select trajectories with respect to the robot's dimensions. Across three simulated environments, ViLiNT improves Success Rate on average by 166\% over equivalent state-of-the-art vision-only baseline (NoMaD). This increase in performance is confirmed through real-world deployments of a rover navigating in obstacle fields. These results highlight that combining multimodal fusion with our collision prediction mechanism leads to improved off-road navigation robustness.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI