日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.20499

抽象障害物マップとトポロジカルグラフを活用したゼロショット視覚言語ナビゲーション

Boosting Zero-Shot VLN via Abstract Obstacle Map-Based Waypoint Prediction with TopoGraph-and-VisitInfo-Aware Prompting

シェア:XThreadsFacebookLINEはてブBluesky

MLLMと抽象障害物マップ上のウェイポイント予測を組み合わせ、訪問履歴付きトポロジカルグラフをプロンプトに組み込むことで、連続環境でのゼロショット視覚言語ナビゲーションを高精度化した研究。

詳しい要約

1. どんなもの?

- 連続環境における vision-language navigation (VLN) の zero-shot フレームワーク。 - 自然言語指示の解釈・周囲知覚・低レベル行動計画を同時に行う embodied agent 向け。 - 簡略化した waypoint predictor と multimodal large language model (MLLM) を統合。 - predictor は abstract obstacle map 上で linearly reachable な waypoint を生成。 - waypoint を動的に更新される topological graph と明示的な visitation record に組み込む。

2. 先行研究と比べてどこがすごい?

- 従来の zero-shot VLN と比べ、R2R-CE と RxR-CE で state-of-the-art の zero-shot 性能を達成。 - success rate はそれぞれ 41% と 36% で prior state-of-the-art を上回る。 - abstract obstacle map 上の waypoint prediction と MLLM を組み合わせる点が特徴。 - topological graph と visitation information を prompt に符号化する点が先行研究との差分。

3. 技術・手法の肝は?

- 簡略化した waypoint predictor が abstract obstacle map 上で linearly reachable な waypoint を予測。 - 予測 waypoint を動的に更新される topological graph に組み込む。 - graph には明示的な visitation record を保持。 - graph と visitation information を prompt に符号化し MLLM に与える。 - 空間構造と探索履歴の両方を推論させ、exploration を促す。 - MLLM に local path planning を行わせ error correction を可能にする。

4. どうやって有効だと検証した?

- R2R-CE と RxR-CE で実験を実施。 - zero-shot 設定で評価。 - success rate 41%(R2R-CE)と 36%(RxR-CE)を達成。 - prior state-of-the-art の zero-shot 手法を上回ることを示す。 - 詳細な ablation や指標は要旨からは不明。

5. 議論はある?

- abstract obstacle map と waypoint predictor の簡略化が性能と汎化にどう影響するかは要旨からは不明。 - topological graph と visitation record の prompt 符号化の寄与度は要旨からは不明。 - MLLM の error correction や exploration 促進の定量的分析は要旨からは不明。 - 連続環境における zero-shot VLN の限界や失敗要因は要旨からは不明。

6. 次に読むべき論文は?

- R2R-CE および RxR-CE のベンチマーク論文。 - 比較対象である prior state-of-the-art の zero-shot VLN 手法(具体名は要旨からは不明)。 - MLLM を用いた VLN の関連研究。 - topological graph を用いた navigation 手法。 - abstract obstacle map に基づく waypoint prediction の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boqi Li, Siyuan Li, Weiyi Wang, Anran Li, Zhong Cao, Henry X. Liu

分類: cs.RO, cs.AI

原文アブストラクト

With the rapid progress of foundation models and robotics, vision-language navigation (VLN) has emerged as a key task for embodied agents with broad practical applications. We address VLN in continuous environments, a particularly challenging setting where an agent must jointly interpret natural language instructions, perceive its surroundings, and plan low-level actions. We propose a zero-shot framework that integrates a simplified yet effective waypoint predictor with a multimodal large language model (MLLM). The predictor operates on an abstract obstacle map, producing linearly reachable waypoints, which are incorporated into a dynamically updated topological graph with explicit visitation records. The graph and visitation information are encoded into the prompt, enabling reasoning over both spatial structure and exploration history to encourage exploration and equip MLLM with local path planning for error correction. Extensive experiments on R2R-CE and RxR-CE show that our method achieves state-of-the-art zero-shot performance, with success rates of 41% and 36%, respectively, outperforming prior state-of-the-art methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI