日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.17459

P$^{3}$Nav: 視覚と言語によるナビゲーションのためのエンドツーエンドの知覚・予測・計画

P$^{3}$Nav: End-to-End Perception, Prediction and Planning for Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語によるナビゲーション(VLN)タスクにおいて、知覚・予測・計画を統合したエンドツーエンドのフレームワークを提案し、シーン理解を強化してナビゲーション成功率を向上させた。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) において、言語指示に従って視覚観測から目標への経路を計画するエージェントを実現するための、知覚・予測・計画を統合した end-to-end フレームワーク P$^{3}$Nav を提案。 - 従来の VLN 手法は計画に重点を置き、シーン理解が不十分であるという問題に対処。 - 知覚、予測、計画を一つのパイプラインで統合し、ナビゲーション成功率の向上を目指す。

2. 先行研究と比べてどこがすごい?

- 従来の VLN 手法は visual-textual alignment に基づく強力な planner の構築に注力し、計画前の包括的なシーン理解をしばしば省略していた。 - P$^{3}$Nav は知覚・予測・計画を統合し、シーン理解を強化することで、この限界を克服。 - 結果として、REVERIE, R2R-CE, RxR-CE ベンチマークで新たな state-of-the-art 性能を達成。

3. 技術・手法の肝は?

- 知覚: object-level と map-level の両視点から補完的な手がかりを抽出して拡張。 - 予測: waypoints を予測してエージェントの潜在的な未来状態をモデル化し、ナビゲーション中の候補位置に対する内在的な認識を付与。 - 計画: 予測された未来の waypoints に条件付けられ、semantic map cues を予測し、 proactive planning を可能にし、純粋に歴史的なコンテキストへの厳密な依存を低減。 - 統合: これらの知覚・予測の手がかりを統合し、holistic planning module が VLN タスクを実行。

4. どうやって有効だと検証した?

- 広範な実験により、P$^{3}$Nav が REVERIE, R2R-CE, RxR-CE ベンチマークで新たな state-of-the-art 性能を達成することを示した。 - 具体的な実験設定や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - 従来手法の問題点として、計画前のシーン理解不足を指摘し、それを解決する枠組みを提案しているが、具体的な議論は要旨に記載されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として Vision-and-Language Navigation (VLN) の従来手法や、REVERIE, R2R-CE, RxR-CE ベンチマークを用いた研究が挙げられる。 - 同分野の定番として、VLN における end-to-end 学習手法や、perception, prediction, planning を個別に扱う研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianfu Li, Wenbo Chen, Haoxuan Xu, Xinhu Zheng, Haoang Li

分類: cs.RO

原文アブストラクト

In Vision-and-Language Navigation (VLN), an agent is required to plan a path to the target specified by the language instruction, using its visual observations. Consequently, prevailing VLN methods primarily focus on building powerful planners through visual-textual alignment. However, these approaches often bypass the imperative of comprehensive scene understanding prior to planning, leaving the agent with insufficient perception or prediction capabilities. Thus, we propose P$^{3}$Nav, a novel end-to-end framework integrating perception, prediction, and planning in a unified pipeline to strengthen the VLN agent's scene understanding and boost navigation success. Specifically, P$^{3}$Nav augments perception by extracting complementary cues from object-level and map-level perspectives. Subsequently, our P$^{3}$Nav predicts waypoints to model the agent's potential future states, endowing the agent with intrinsic awareness of candidate positions during navigation. Conditioned on these future waypoints, P$^{3}$Nav further forecasts semantic map cues, enabling proactive planning and reducing the strict reliance on purely historical context. Integrating these perceptual and predictive cues, a holistic planning module finally carries out the VLN tasks. Extensive experiments demonstrate that our P$^{3}$Nav achieves new state-of-the-art performance on the REVERIE, R2R-CE, and RxR-CE benchmarks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI