日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2512.17435

ImagineNav++: シーン想像を通じて視覚言語モデルを身体化ナビゲータとして促す

ImagineNav++: Prompting Vision-Language Models as Embodied Navigator through Scene Imagination

シェア:XThreadsFacebookLINEはてブBluesky

RGB/RGB-D画像のみを用い、視覚言語モデルが将来の視点画像を想像して最適な視点を選ぶことで、地図なしで物体探索などの視覚ナビゲーションを実現するフレームワーク。

詳しい要約

1. どんなもの?

- 視覚言語モデル(VLM)を用いたmapless visual navigationのフレームワーク。 - オンボードのRGB/RGB-Dストリームのみを使用し、物体探索などの長期的タスクを実現。 - 未来の観測画像を想像し、ナビゲーション計画を最適な視点画像の選択問題に変換。 - 選択的foveation memoryにより長期空間推論を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来のLLMベース手法はテキスト表現に依存し、空間占有やシーン幾何を捉えられなかった。 - 本手法はVLMの空間知覚と計画能力を活用し、mapless設定でSOTAを達成。 - 多くのmap-based手法をも上回る性能を示し、シーン想像とメモリの重要性を強調。

3. 技術・手法の肝は?

- future-view imagination module:人間のナビゲーション選好を蒸留し、探索ポテンシャルの高い意味的視点を生成。 - 想像された視点をVLMへの視覚プロンプトとして使用し、最も情報量の多い視点を特定。 - selective foveation memory:キーフレーム観測をsparse-to-denseフレームワークで階層的に統合し、長期空間推論用のコンパクトなメモリを構築。 - ゴール指向ナビゲーションを一連のpoint-goal navigationタスクに変換。

4. どうやって有効だと検証した?

- open-vocabulary objectおよびinstance navigationベンチマークで広範な実験を実施。 - mapless設定でSOTA性能を達成し、多くのmap-based手法を上回ることを確認。

5. 議論はある?

- シーン想像とメモリがVLMベースの空間推論において重要であると議論。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:LLMを活用したナビゲーション手法、map-based手法。 - 関連手法:point-goal navigation、open-vocabulary object navigation、instance navigation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Teng Wang, Xinxin Zhao, Wenzhe Cai, Changyin Sun

分類: cs.RO

原文アブストラクト

Visual navigation is a fundamental capability for autonomous home-assistance robots, enabling long-horizon tasks such as object search. While recent methods have leveraged Large Language Models (LLMs) to incorporate commonsense reasoning and improve exploration efficiency, their planning remains constrained by textual representations, which cannot adequately capture spatial occupancy or scene geometry--critical factors for navigation decisions. We explore whether Vision-Language Models (VLMs) can achieve mapless visual navigation using only onboard RGB/RGB-D streams, unlocking their potential for spatial perception and planning. We achieve this through an imagination-powered navigation framework, ImagineNav++, which imagines future observation images from candidate robot views and translates navigation planning into a simple best-view image selection problem for VLMs. First, a future-view imagination module distills human navigation preferences to generate semantically meaningful viewpoints with high exploration potential. These imagined views then serve as visual prompts for the VLM to identify the most informative viewpoint. To maintain spatial consistency, we develop a selective foveation memory mechanism, which hierarchically integrates keyframe observations via a sparse-to-dense framework, constructing a compact yet comprehensive memory for long-term spatial reasoning. This approach transforms goal-oriented navigation into a series of tractable point-goal navigation tasks. Extensive experiments on open-vocabulary object and instance navigation benchmarks show that ImagineNav++ achieves SOTA performance in mapless settings, even surpassing most map-based methods, highlighting the importance of scene imagination and memory in VLM-based spatial reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI