日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2604.07957

WorldMAP: 生成的世界モデルを用いた視覚言語ナビゲーション軌道予測のブートストラップ

WorldMAP: Bootstrapping Vision-Language Navigation Trajectory Prediction with Generative World Models

シェア:XThreadsFacebookLINEはてブBluesky

生成的世界モデルが生成した未来映像から教師信号を作り、視覚言語入力から直接ナビゲーション軌道を予測する軽量モデルを訓練する教師-学生フレームワークを提案した。

詳しい要約

1. どんなもの?

- 単一のegocentric観測から信頼できるnavigation trajectoryを予測する課題に対し、generative world modelを活用したteacher-studentフレームワークWorldMAPを提案。 - world-model-driven teacherが生成videoからsemantic-spatial memoryを構築し、target/obstacleをgroundingし、explicit planningでtrajectory pseudo-labelを生成。 - lightweight studentはmulti-hypothesis trajectory headを持ち、vision-language入力から直接trajectoryを予測する。

2. 先行研究と比べてどこがすごい?

- 従来のVLMはtrajectoryが不安定で、world modelはplausibleなfutureを合成できてもnavigation学習に必要なgrounded signalを直接与えられなかった。 - WorldMAPは生成futureをpersistentなsemantic-spatial構造とplanning由来のsupervisionに変換する点が新しい。 - Target-Benchで比較手法中最高のADE/FDEを達成し、最良baseline比でADE 18.0%減、FDE 42.1%減。 - 小規模open-source VLMをproprietary modelに匹敵するDTW性能に引き上げた。

3. 技術・手法の肝は?

- teacher: world modelが生成したvideoからsemantic-spatial memoryを構築し、task-relevantなtargetとobstacleをgrounding。 - teacher: explicit planningによりtrajectory pseudo-labelを生成。 - student: lightweightでmulti-hypothesis trajectory headを備え、vision-language入力からnavigation trajectoryを直接予測するよう学習。 - 生成futureをaction-readyなimagined evidenceではなく、構造化されたsupervisionとして利用する点が肝。

4. どうやって有効だと検証した?

- Target-Bench上で比較手法と評価。 - ADEとFDEで最高性能を達成し、最良競合baseline比でADE 18.0%減、FDE 42.1%減。 - 小規模open-source VLMのDTW性能がproprietary modelと競合可能な水準に向上。

5. 議論はある?

- 結果は、embodied navigationにおいてworld modelの価値がaction-readyなimagined evidenceの提供よりも、navigation学習のための構造化supervisionの合成にある可能性を示唆。 - ただし要旨からは、失敗事例や限界、計算コスト、一般化性に関する議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Target-Bench、VLMベースのplanner/trajectory predictor、generative world model。 - 関連手法として、world modelを用いたlook-ahead reasoningやembodied navigationのtrajectory prediction研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongjin Chen, Shangyun Jiang, Tonghua Su, Chen Gao, Xinlei Chen, Yong Li, Zhibo Chen

分類: cs.AI, cs.CV, cs.RO

原文アブストラクト

Vision-language models (VLMs) and generative world models are opening new opportunities for embodied navigation. VLMs are increasingly used as direct planners or trajectory predictors, while world models support look-ahead reasoning by imagining future views. Yet predicting a reliable trajectory from a single egocentric observation remains challenging. Current VLMs often generate unstable trajectories, and world models, though able to synthesize plausible futures, do not directly provide the grounded signals needed for navigation learning. This raises a central question: how can generated futures be turned into supervision for grounded trajectory prediction? We present WorldMAP, a teacher--student framework that converts world-model-generated futures into persistent semantic-spatial structure and planning-derived supervision. Its world-model-driven teacher builds semantic-spatial memory from generated videos, grounds task-relevant targets and obstacles, and produces trajectory pseudo-labels through explicit planning. A lightweight student with a multi-hypothesis trajectory head is then trained to predict navigation trajectories directly from vision-language inputs. On Target-Bench, WorldMAP achieves the best ADE and FDE among compared methods, reducing ADE by 18.0% and FDE by 42.1% relative to the best competing baseline, while lifting a small open-source VLM to DTW performance competitive with proprietary models. More broadly, the results suggest that, in embodied navigation, the value of world models may lie less in supplying action-ready imagined evidence than in synthesizing structured supervision for navigation learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI