日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.02972

TagaVLM: 視覚言語ナビゲーションのためのトポロジー認識型グローバル行動推論

TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

VLMの自己注意機構に空間トポロジー構造を直接注入し、グローバルな行動推論を可能にすることで、視覚言語ナビゲーションの性能を向上させたフレームワーク。

詳しい要約

1. どんなもの?

- どんなもの? - Vision-Language Navigation (VLN) のための end-to-end フレームワーク TagaVLM を提案。 - 大規模 Vision-Language Model (VLM) に topological structure を明示的に注入。 - 静的な vision-language タスクで pretrain された VLM と、動的で embodied なナビゲーションのギャップを埋める。 - R2R benchmark で large-model-based 手法の中で state-of-the-art を達成。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 既存の large-model-based 手法は視覚・空間情報をテキストに変換し、複雑な visual-topological 関係を暗黙的に推論させていた。 - TagaVLM は topological structure を VLM backbone に直接注入し、global action reasoning を可能にする。 - R2R benchmark の unseen 環境で SR 51.09%、SPL 47.18 を達成し、prior work を SR で 3.39%、SPL で 9.08 上回る。 - 小規模 open-source VLM への的を絞った強化が、 brute-force なモデルスケーリングより有効であることを示す。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - Spatial Topology Aware Residual Attention (STAR-Att) を導入し、topological edge 情報を VLM の self-attention 機構に直接統合。 - これにより pretrained knowledge を保持しつつ、内在的な spatial reasoning を可能にする。 - Interleaved Navigation Prompt により、topological node 情報を強化し、node-level の visual-text alignment を向上。 - 埋め込まれた topological graph を用いて global action reasoning を行い、robust な path correction を実現。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - R2R benchmark で評価を実施。 - unseen 環境において Success Rate (SR) 51.09%、SPL 47.18 を達成。 - large-model-based 手法の中で state-of-the-art を達成し、prior work を SR で 3.39%、SPL で 9.08 上回ることを確認。

5. 議論はある?

- 議論はある? - 要旨からは不明。 - ただし、embodied spatial reasoning においては、小規模 open-source VLM への的を絞った強化が brute-force なモデルスケーリングより有効である可能性を示唆。

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Vision-Language Navigation (VLN) の R2R benchmark を用いた研究や、Large Vision-Language Models (VLMs) を embodied タスクに適用した研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxing Liu, Zexi Zhang, Xiaoyan Li, Boyue Wang, Yongli Hu, Baocai Yin

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language Navigation (VLN) presents a unique challenge for Large Vision-Language Models (VLMs) due to their inherent architectural mismatch: VLMs are primarily pretrained on static, disembodied vision-language tasks, which fundamentally clash with the dynamic, embodied, and spatially-structured nature of navigation. Existing large-model-based methods often resort to converting rich visual and spatial information into text, forcing models to implicitly infer complex visual-topological relationships or limiting their global action capabilities. To bridge this gap, we propose TagaVLM (Topology-Aware Global Action reasoning), an end-to-end framework that explicitly injects topological structures into the VLM backbone. To introduce topological edge information, Spatial Topology Aware Residual Attention (STAR-Att) directly integrates it into the VLM's self-attention mechanism, enabling intrinsic spatial reasoning while preserving pretrained knowledge. To enhance topological node information, an Interleaved Navigation Prompt strengthens node-level visual-text alignment. Finally, with the embedded topological graph, the model is capable of global action reasoning, allowing for robust path correction. On the R2R benchmark, TagaVLM achieves state-of-the-art performance among large-model-based methods, with a Success Rate (SR) of 51.09% and SPL of 47.18 in unseen environments, outperforming prior work by 3.39% in SR and 9.08 in SPL. This demonstrates that, for embodied spatial reasoning, targeted enhancements on smaller open-source VLMs can be more effective than brute-force model scaling. The code can be found on our project page: https://apex-bjut.github.io/Taga-VLM

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI