日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.17670

AgentVLN:エージェント型視覚言語ナビゲーションに向けて

AgentVLN: Towards Agentic Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーション(VLN)のための新しいフレームワークAgentVLNを提案。VLMを高次推論に用い、3Dトポロジカルウェイポイントを画像平面に投影して視覚プロンプトを生成し、自己補正と能動探索で長期的なナビゲーション誤差を抑制する。

詳しい要約

1. どんなもの?

- 本論文は、Vision-and-Language Navigation (VLN) のための新しい embodied navigation フレームワーク AgentVLN を提案する。 - VLN を Partially Observable Semi-Markov Decision Process (POSMDP) として定式化し、VLM-as-Brain パラダイムを導入する。 - 高レベルな意味推論を、plug-and-play な skill library を介して知覚・計画から分離する。 - edge computing プラットフォームに展開可能な効率的なフレームワークを目指す。 - AgentVLN-Instruct という大規模 instruction-tuning データセットも構築する。

2. 先行研究と比べてどこがすごい?

- 従来の VLN システムは、限られた空間知覚、2D-3D 表現の不一致、単眼スケールの曖昧さに制約されていた。 - 本手法は、VLM の強力な 2D 意味理解を活かしつつ、これらの制約を克服する。 - 長期的な VLN ベンチマークにおいて、従来の state-of-the-art (SOTA) 手法を一貫して上回る性能を示す。 - 軽量展開のための実用的なパラダイムを提供する点が新しい。

3. 技術・手法の肝は?

- VLM-as-Brain パラダイムにより、高レベルな意味推論を plug-and-play な skill library を介して知覚・計画から分離する。 - cross-space representation mapping を設計し、知覚層の 3D topological waypoints を画像平面に投影して、VLM 用の pixel-aligned visual prompts を生成する。 - context-aware self-correction と active exploration 戦略を統合し、occlusions からの回復と長軌跡での誤差蓄積を抑制する。 - Query-Driven Perceptual Chain-of-Thought (QD-PCoT) スキームを提案し、エージェントが能動的に幾何学的深度情報を求めるメタ認知能力を可能にする。 - AgentVLN-Instruct は、target visibility に基づく動的 stage routing を備えた大規模 instruction-tuning データセットである。

4. どうやって有効だと検証した?

- 長期的な VLN ベンチマークにおいて、広範な実験を実施した。 - AgentVLN は従来の state-of-the-art (SOTA) 手法を一貫して上回ることを示した。 - これにより、次世代 embodied navigation モデルの軽量展開のための実用的なパラダイムを提供することを検証した。

5. 議論はある?

- 要旨からは、具体的な議論や限界についての記述は不明である。 - ただし、occlusions や長軌跡での誤差蓄積への対処、非構造環境での指示の空間的曖昧さへの対応が課題として挙げられている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language Models (VLMs)、Partially Observable Semi-Markov Decision Process (POSMDP)、Chain-of-Thought (CoT) が挙げられる。 - 同分野の定番として、Vision-and-Language Navigation (VLN) の既存ベンチマークや手法を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihao Xin, Wentong Li, Yixuan Jiang, Ziyuan Huang, Bin Wang, Piji Li, Jianke Zhu, Jie Qin, Shengjun Huang

分類: cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) requires an embodied agent to ground complex natural-language instructions into long-horizon navigation in unseen environments. While Vision-Language Models (VLMs) offer strong 2D semantic understanding, current VLN systems remain constrained by limited spatial perception, 2D-3D representation mismatch, and monocular scale ambiguity. In this paper, we propose AgentVLN, a novel and efficient embodied navigation framework that can be deployed on edge computing platforms. We formulate VLN as a Partially Observable Semi-Markov Decision Process (POSMDP) and introduce a VLM-as-Brain paradigm that decouples high-level semantic reasoning from perception and planning via a plug-and-play skill library. To resolve multi-level representation inconsistency, we design a cross-space representation mapping that projects perception-layer 3D topological waypoints into the image plane, yielding pixel-aligned visual prompts for the VLM. Building on this bridge, we integrate a context-aware self-correction and active exploration strategy to recover from occlusions and suppress error accumulation over long trajectories. To further address the spatial ambiguity of instructions in unstructured environments, we propose a Query-Driven Perceptual Chain-of-Thought (QD-PCoT) scheme, enabling the agent with the metacognitive ability to actively seek geometric depth information. Finally, we construct AgentVLN-Instruct, a large-scale instruction-tuning dataset with dynamic stage routing conditioned on target visibility. Extensive experiments show that AgentVLN consistently outperforms prior state-of-the-art methods (SOTA) on long-horizon VLN benchmarks, offering a practical paradigm for lightweight deployment of next-generation embodied navigation models. Code: https://github.com/Allenxinn/AgentVLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI