日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2605.19634

P2DNav: パノラマから俯瞰への推論によるゼロショット視覚言語ナビゲーション

P2DNav: Panorama-to-Downview Reasoning for Zero-shot Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

ゼロショットの視覚言語ナビゲーションにおいて、パノラマ方向選択と俯瞰ローカル接地を分離した階層的フレームワークを提案し、性能を向上させた。

詳しい要約

1. どんなもの?

- ゼロショット Vision-and-Language Navigation (VLN) のための階層的フレームワーク P2DNav を提案する論文。 - 3つの構成要素: Panorama-to-Downview (P2D)、Sliding-Window Dialogue Memory (SDM)、Reflective Reorientation Mechanism (RRM)。 - P2D はナビゲーション意思決定を 360° panorama からの方向選択と、その方向の downview RGB 観測からの pixel-level 目標点予測の2段階に分解する。 - SDM は履歴を multi-turn dialogue context として整理し、直近の視覚観測を sliding window で保持する。 - RRM は downview 観測に基づき local grounding の信頼性を評価し、必要なら panoramic direction selection に戻る。

2. 先行研究と比べてどこがすごい?

- 既存のゼロショット手法は追加の waypoint prediction module に依存しがちで、高レベルの方向推論と細粒度の local grounding が絡み合い、誤りやすく不安定な決定を招く。 - P2DNav は P2D により方向選択と局所接地を明示的に分離し、この絡み合いを解消する。 - R2R-CE benchmark でゼロショット手法中強い性能を示す。 - SOTA のゼロショット waypoint-based 手法と waypoint-free 手法に対し、SR がそれぞれ 146.6%、58.9% 向上。

3. 技術・手法の肝は?

- P2D: まず 360° panorama から指示に関連する方向を選び、次にその方向の downview RGB 観測から pixel-level の目標点を予測する2段階分解。 - SDM: ナビゲーション履歴を multi-turn dialogue context として組織し、直近の視覚観測を sliding window 内で維持して長期的ナビゲーションを支援。 - RRM: downview 観測に基づいて local grounding の信頼性を評価し、必要時に panoramic direction selection へ戻る reflective reorientation を可能にする。 - これら3要素を組み合わせた階層的ゼロショット VLN フレームワーク。

4. どうやって有効だと検証した?

- R2R-CE benchmark 上で実験を実施。 - ゼロショット手法の中で強い性能を達成したと報告。 - SOTA のゼロショット waypoint-based 手法および waypoint-free 手法と比較し、SR がそれぞれ 146.6%、58.9% 向上。 - P2D、SDM、RRM の有効性を示す結果が得られたと主張。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、リアルタイム性、他ベンチマークへの汎化などについての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で比較対象として言及されている SOTA のゼロショット waypoint-based 手法および waypoint-free 手法。 - ベンチマークとして用いられている R2R-CE。 - 関連するゼロショット VLN 手法(例: waypoint prediction を用いる手法、waypoint-free 手法)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Sheng, Liuyi Wang, Haojie Dai, Jinlong Li, Yongrui Qin, Zongtao He, Chengju Liu, Qijun Chen

分類: cs.CV, cs.AI

原文アブストラクト

Vision-and-language navigation (VLN) requires an embodied agent to ground natural-language instructions into executable navigation actions in unseen environments. Existing zero-shot methods typically rely on additional waypoint prediction modules, which often entangle high-level directional reasoning with fine-grained local grounding, leading to error-prone and unstable decisions. In this paper, we propose P2DNav, a hierarchical framework for zero-shot vision-and-language navigation. P2DNav consists of three core components: Panorama-to-Downview (P2D), Sliding-Window Dialogue Memory (SDM), and Reflective Reorientation Mechanism (RRM). P2D explicitly decomposes navigation decision-making into two stages: panoramic direction selection and downview local grounding. It first selects the instruction-relevant direction from a 360° panorama, and then predicts a pixel-level target point from the downview RGB observation in that direction. In addition, SDM organizes navigation history as a multi-turn dialogue context and maintains recent visual observations within a sliding window to support long-horizon navigation. RRM further enables reflective reorientation by assessing the reliability of local grounding based on the downview observation and returning to panoramic direction selection when necessary. Experiments on the R2R-CE benchmark show that P2DNav achieves strong performance among zero-shot methods. In particular, compared with the state-of-the-art (SOTA) zero-shot waypoint-based and waypoint-free methods, P2DNav achieves SR gains of 146.6% and 58.9%, respectively, demonstrating the effectiveness of P2D, SDM, and RRM for zero-shot VLN. Code will be released for public use.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI