日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2511.10376

MSGNav: マルチモーダル3Dシーングラフによるゼロショット身体性ナビゲーション

MSGNav: Unleashing the Power of Multi-modal 3D Scene Graph for Zero-Shot Embodied Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚情報を画像のまま保持するマルチモーダル3Dシーングラフを構築し、ゼロショットで物体探索ナビゲーションを行うシステムを提案。GOAT-BenchとHM3D-ObjNavで最高性能を達成。

詳しい要約

1. どんなもの?

- 本論文は、zero-shot embodied navigationのための新しいフレームワークMSGNavを提案する。 - 中核となるのはMulti-modal 3D Scene Graph (M3DSG)で、視覚情報を保持したまま3Dシーングラフを構築する。 - M3DSG上で動作するMSGNavは、Key Subgraph Selection、Adaptive Vocabulary Update、Closed-Loop Reasoning、Visibility-based Viewpoint Decisionの各モジュールを備える。 - 目的は、open vocabulary generalizationと低い訓練オーバーヘッドを実現するzero-shotナビゲーションの性能向上である。

2. 先行研究と比べてどこがすごい?

- 既存のzero-shot手法は明示的な3Dシーングラフを構築する際、豊富な視覚観測をテキストのみの関係に圧縮していた。 - その結果、構築コストが高く、視覚的証拠が不可逆的に失われ、語彙が制約されるという問題があった。 - 提案手法はテキスト関係エッジを動的に割り当てた画像に置き換えることで視覚的手がかりを保持し、これらの制限を克服する。 - また、zero-shotナビゲーションにおけるlast mile問題(最終視点の決定)を明示的に解決するVisibility-based Viewpoint Decisionを導入している点も新しい。

3. 技術・手法の肝は?

- M3DSGは、3Dシーングラフの関係エッジをテキストではなく動的に割り当てられた画像で表現し、視覚情報を保持する。 - Key Subgraph Selectionモジュールは、効率的な推論のために重要なサブグラフを選択する。 - Adaptive Vocabulary Updateモジュールは、open vocabularyサポートのために語彙を適応的に更新する。 - Closed-Loop Reasoningモジュールは、正確な探索推論を実現する。 - Visibility-based Viewpoint Decisionモジュールは、実行可能な目標位置と適切な最終視点を決定するlast mile問題を解決する。

4. どうやって有効だと検証した?

- 挑戦的なGOAT-BenchとHM3D-ObjNavベンチマークで包括的な実験を行った。 - その結果、MSGNavはstate-of-the-art性能を達成した。 - 詳細な実験設定や比較手法は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - ただし、zero-shotナビゲーションのlast mile問題を特定し、Visibility-based Viewpoint Decisionで解決を図っている点が議論の焦点と考えられる。 - 視覚情報を保持するM3DSGの有効性や、各モジュールの貢献度についての議論が想定されるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で直接参照されている研究はないが、関連手法としてzero-shot embodied navigationにおける3D scene graph構築手法(例:テキストベースの関係エッジを用いる手法)や、GOAT-Bench、HM3D-ObjNavベンチマークを提案した論文が挙げられる。 - また、open vocabulary navigationやlast mile問題に取り組む研究も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xun Huang, Shijia Zhao, Yunxiang Wang, Xin Lu, Wanfa Zhang, Rongsheng Qu, Weixin Li, Yunhong Wang, Chenglu Wen

分類: cs.CV, cs.RO

原文アブストラクト

Embodied navigation is a fundamental capability for robotic agents operating. Real-world deployment requires open vocabulary generalization and low training overhead, motivating zero-shot methods rather than task-specific RL training. However, existing zero-shot methods that build explicit 3D scene graphs often compress rich visual observations into text-only relations, leading to high construction cost, irreversible loss of visual evidence, and constrained vocabularies. To address these limitations, we introduce the Multi-modal 3D Scene Graph (M3DSG), which preserves visual cues by replacing textual relational edges with dynamically assigned images. Built on M3DSG, we propose MSGNav, a zero-shot navigation system that includes a Key Subgraph Selection module for efficient reasoning, an Adaptive Vocabulary Update module for open vocabulary support, and a Closed-Loop Reasoning module for accurate exploration reasoning. Additionally, we further identify the last mile problem in zero-shot navigation determining the feasible target location with a suitable final viewpoint, and propose a Visibility-based Viewpoint Decision module to explicitly resolve it. Comprehensive experimental results demonstrate that MSGNav achieves state-of-the-art performance on the challenging GOAT-Bench and HM3D-ObjNav benchmark. The code will be publicly available at https://github.com/ylwhxht/MSGNav.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI