日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2606.03682

GN0: 視覚言語ナビゲーションにおける生成・評価・方策学習の統一的パラダイムに向けて

GN0: Toward a Unified Paradigm for Generation, Evaluation, and Policy Learning in Visual-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

大規模データセットと高忠実度シミュレータを構築し、RL駆動のナビゲーション基盤モデルを提案して、視覚言語ナビゲーションの性能を向上させた。

詳しい要約

1. どんなもの?

- 視覚言語ナビゲーション(VLN)のための統合パラダイム「GN0」を提案。 - データ、シミュレーション、学習を一貫して扱う。 - 大規模ナビゲーションデータセット「GN-Matrix」を構築。 - 3D Gaussian Splatting(3DGS)エンジンに基づく高忠実度シミュレーションプラットフォームを導入。 - 動的3DGSアバターを用いたBEVベースのベンチマーク「GN-Bench」を提案。 - 強化学習駆動のナビゲーション基盤モデル「Break and Establish(BAE)」を開発。 - 指示追従、人間追従、ゴールナビゲーションなどのタスクを統合。

2. 先行研究と比べてどこがすごい?

- 従来のVLNシステムはナビゲーションデータの可用性と品質の制限により、汎化性能と長期的能力が制約されていた。 - GN0は多様な3Dシーンをキュレーションし、自動パイプラインで大規模データを生成。 - 3DGSエンジンを用いた高忠実度シミュレーションを実現。 - GN-Benchは初のBEVベースで動的3DGSアバターを組み込んだベンチマーク。 - 統合パラダイムにより、マップベースとマップフリーのタスクを一貫して扱う。 - 広範な評価でGN0が最先端VLN手法を上回る性能を示す。

3. 技術・手法の肝は?

- 多様な3Dシーンを収集し、自動パイプラインで大規模ナビゲーションデータを生成。 - 3D Gaussian Splatting(3DGS)エンジンを基盤とし、インタラクティブなローミングと衝突認識ナビゲーションをサポートするシミュレーションプラットフォームを構築。 - GN-BenchはBEVベースで動的3DGSアバターを組み込み、人間-ロボットインタラクションを評価。 - 強化学習駆動のナビゲーション基盤モデルBAEを開発。 - 教師あり学習後、DAggerでロールアウト状態にモデルを曝し、狭い専門家中心分布を打破し、下流のRL探索を可能にする。 - GN-BAEは高忠実度3DGSレンダリングBEV表現をコンパクトメモリとして形式化し、VLMの潜在空間推論を解放。

4. どうやって有効だと検証した?

- GN-BenchとVLN-CEでの広範な評価を実施。 - GN0が最先端VLN手法を上回ることを示した。 - 具体的な評価指標やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や議論点についての記述はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:VLN-CE、最先端VLN手法(具体的名称は不明)。 - 関連手法:Vision-and-Language Navigation (VLN)、3D Gaussian Splatting (3DGS)、DAgger、強化学習(RL)。 - 同分野の定番:REVERIE、R2R、RxRなどが考えられるが、要旨に明示なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinhai Li, Xiaotao Zhang, Yuehao Huang, Jiankun Dong, Tianhang Wang, Sunyao Zhou, Yunzi Wu, Chengnuo Sun, Yunfei Ge, Qizhen Weng, Chi Zhang, Chenjia Bai, Xuelong Li

分類: cs.RO

原文アブストラクト

Embodied navigation connects intelligent agents with the physical world and is fundamental for general robotic intelligence. Limited availability and quality of navigation data have constrained Vision-and-Language Navigation (VLN) systems' generalization and long-horizon capabilities. To address this, we curate diverse 3D scenes and develop an automated pipeline for large-scale navigation data, resulting in the GN-Matrix dataset. Building on a 3D Gaussian Splatting (3DGS) engine, we introduce a high-fidelity simulation platform supporting interactive roaming and collision-aware navigation. We further propose GN-Bench, the first BEV-based benchmark incorporating dynamic 3DGS avatars for human-robot interaction evaluation. To leverage the simulator, we develop an RL-driven navigation foundation model, Break and Establish (BAE). After supervised learning, DAgger exposes the model to rollout-induced states, breaking narrow expert-centric distributions and enabling downstream RL exploration. This unified VLN paradigm integrates map-based and map-free tasks, including instruction following, human following, and goal navigation. GN-BAE formalizes high-fidelity 3DGS-rendered Bird's Eye View representations as compact memory, unlocking latent spatial reasoning in VLMs. Extensive evaluations on GN-Bench and VLN-CE show that GN0 outperforms state-of-the-art VLN methods. Overall, GN-Matrix offers a unified framework spanning data, simulation, and learning, advancing embodied navigation in research and industrial applications.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI