日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2510.08713

記憶拡張型の計画と予見による視覚ナビゲーションのための統合世界モデルに向けて

Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight

シェア:XThreadsFacebookLINEはてブBluesky

視覚的予見と計画を単一のマルチモーダル自己回帰バックボーンに統合し、階層的記憶機構で長期推論を安定化させた世界モデルUniWMを提案。4つのベンチマークでナビゲーション成功率を最大30%改善し、未見環境へのゼロショット汎化も示した。

詳しい要約

1. どんなもの?

- 視覚ナビゲーションのための統合World Model「UniWM」を提案 - 一人称視点のvisual foresight(将来視覚状態の想像)とplanningを単一のmultimodal autoregressive backboneに統合 - 階層的memory機構を備え、短期知覚手がかりと長期trajectory文脈を融合 - 4つのbenchmark(Go Stanford, ReCon, SCAND, HuRoN)と1X Humanoid Datasetで評価 - codeとmodelはGitHubで公開

2. 先行研究と比べてどこがすごい?

- 従来のstate-of-the-artはplanningとvisual world modelingを分離したmodular設計 - それによりstate-action misalignmentや新規・動的シナリオでの適応性低下が生じていた - UniWMは両者を単一backboneに統合し、想像された視覚結果にaction選択を明示的に接地 - 予測と制御の整合性を強め、拡張horizonでの安定推論を実現 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- 単一のmultimodal autoregressive backboneでvisual foresightとplanningを統合 - action選択を視覚的に想像されたoutcomeにgroundingし、predictionとcontrolを密に整合 - 階層的memory mechanismで短期perceptual cueと長期trajectory contextを融合 - 長いhorizonにわたる一貫したreasoningを支援 - 高次元humanoid制御へ自然にスケール可能な設計

4. どうやって有効だと検証した?

- Go Stanford, ReCon, SCAND, HuRoNの4 benchmarkで実験 - 1X Humanoid Datasetでも評価 - navigation success rateを最大30%改善 - 強いbaselineに対しtrajectory errorを大幅削減 - 未見のTartanDrive datasetへzero-shot汎化 - 高次元humanoid controlへスケールすることを確認

5. 議論はある?

- 統合・想像駆動型embodied navigationへの原理的stepと位置づけ - modular設計のstate-action misalignmentと適応性問題への対処を主張 - 限界や失敗ケース、計算コスト等の詳細な議論は要旨からは不明 - 各benchmarkでの定量的内訳やablationの詳細は要旨からは不明

6. 次に読むべき論文は?

- 比較対象のmodularなvisual navigation/planning手法(具体的名称は要旨からは不明) - visual foresightを用いるworld model系研究(具体的名称は要旨からは不明) - 評価に用いられたGo Stanford, ReCon, SCAND, HuRoN, 1X Humanoid Dataset, TartanDriveの各論文 - 同分野の定番としてvisual navigationのgeneralization研究やembodied AI benchmark関連文献

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifei Dong, Fengyi Wu, Guangyu Chen, Lingdong Kong, Xu Zhu, Qiyu Hu, Yuxuan Zhou, Jingdong Sun, Jun-Yan He, Qi Dai, Alexander G. Hauptmann, Zhi-Qi Cheng

分類: cs.AI, cs.CV, cs.RO

原文アブストラクト

Enabling embodied agents to imagine future states is essential for robust and generalizable visual navigation. Yet, state-of-the-art systems typically rely on modular designs that decouple navigation planning from visual world modeling, which often induces state-action misalignment and weak adaptability in novel or dynamic scenarios. We propose UniWM, a unified, memory-augmented world model that integrates egocentric visual foresight and planning within a single multimodal autoregressive backbone. UniWM explicitly grounds action selection in visually imagined outcomes, tightly aligning prediction with control. Meanwhile, a hierarchical memory mechanism fuses short-term perceptual cues with longer-term trajectory context, supporting stable and coherent reasoning over extended horizons. Extensive experiments on four challenging benchmarks (Go Stanford, ReCon, SCAND, HuRoN) and the 1X Humanoid Dataset show that UniWM improves navigation success rates by up to 30%, substantially reduces trajectory errors against strong baselines, generalizes zero-shot to the unseen TartanDrive dataset, and scales naturally to high-dimensional humanoid control. These results position UniWM as a principled step toward unified, imagination-driven embodied navigation. The code and models are available at https://github.com/F1y1113/UniWM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI