日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.22816

AwareVLN: 自己認識による視覚言語ナビゲーションの推論

AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語によるナビゲーションにおいて、エージェントの状態とタスクの進捗を理解する自己認識推論機構を導入し、エンドツーエンドで高性能なナビゲーションを実現した。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) において、agent が言語指示を視覚環境内の自身の移動に接地させるタスクを扱う。 - 既存の Vision-Language Models (VLMs) を用いた end-to-end 行動予測は、agent・指示・scene の関係を明示的かつ説明可能に理解できない。 - 一方、scene map を明示的に構築する heuristic planning は追加の 3D センサに依存し、大規模 vision-language pre-training を妨げる。 - このギャップを埋めるため、AwareVLN という self-aware reasoning mechanism を備えたフレームワークを提案。 - 完全に end-to-end かつ data-driven に agent の状態とタスク進捗を理解する。

2. 先行研究と比べてどこがすごい?

- 従来の VLM ベース end-to-end 手法は、agent・指示・scene 間の関係を明示的・説明可能に理解できない。 - 明示的 scene map を用いる heuristic planning は追加の 3D センサを必要とし、大規模 vision-language pre-training を妨げる。 - AwareVLN は追加センサなしで、end-to-end かつ data-driven に self-awareness を実現。 - Habitat simulator 上の複数データセットで、従来の state-of-the-art VLN 手法を大幅に上回る。

3. 技術・手法の肝は?

- 2 つの主要な革新: (1) 空間的・タスク指向の self-awareness を促す structural reasoning module。 - (2) 効果的な訓練のための progress division を備えた automatic data engine。 - これにより、agent の状態とタスク進捗を end-to-end で理解する self-aware reasoning mechanism を実現。 - 詳細なアーキテクチャやアルゴリズムは要旨からは不明。

4. どうやって有効だと検証した?

- Habitat simulator 上の様々なデータセットで広範な実験を実施。 - AwareVLN が従来の state-of-the-art vision-language navigation 手法を大幅に上回ることを示した。 - 具体的なデータセット名、評価指標、実験設定は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 提案手法の限界、失敗事例、計算コスト、一般化性などに関する議論は記述されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な研究は明示されていない。 - 関連手法として、VLM ベースの end-to-end VLN 手法、明示的 scene map を用いる heuristic planning 手法、Vision-Language Models (VLMs) が挙げられる。 - 同分野の定番として、Vision-and-Language Navigation (VLN) のベンチマークや Habitat simulator を用いた研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenxuan Guo, Xiuwei Xu, Yichen Liu, Xiangyu Li, Hang Yin, Huangxing Chen, Wenzhao Zheng, Jianjiang Feng, Jie Zhou, Jiwen Lu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-and-Language Navigation (VLN) requires an agent to ground language instructions to its own movement within a visual environment. While state-of-the-art methods leverage the reasoning capabilities of Vision-Language Models (VLMs) for end-to-end action prediction, they often lack an explicit and explainable understanding of the relationships between the agent, the instruction, and the scene. Conversely, explicitly building a scene map for heuristic planning is intuitively appealing but relies on additional 3D sensors and hinders large-scale vision-language pre-training. To bridge this gap, we propose AwareVLN, a novel framework that equips the navigation model with a self-aware reasoning mechanism, enabling it to understand the agent's state and task progress in a fully end-to-end and data-driven manner. Our approach features two key innovations: (1) a structural reasoning module that fosters spatial and task-oriented self-awareness, and (2) an automatic data engine with progress division for effective training. Extensive experiments on various datasets in Habitat simulator show our AwareVLN significantly outperforms previous state-of-the-art vision-language navigation methods. Project page: https://gwxuan.github.io/AwareVLN/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI