日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.21450

再帰的視覚想像と適応的言語接地による視覚言語ナビゲーション

Recursive Visual Imagination and Adaptive Linguistic Grounding for Vision Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションにおいて、履歴視覚情報を再帰的に要約し、言語命令と適応的に整合させることで、長系列のナビゲーション判断を改善する手法を提案した論文。

詳しい要約

1. どんなもの?

- Vision Language Navigation (VLN) において、未知シーン内の指定物体・遠隔領域へ言語命令に従って移動するエージェント向けのナビゲーションポリシー - 歴史的視覚観測を再帰的に要約し、言語命令と適応的に整合させる枠組み - Recursive Visual Imagination (RVI) と Adaptive Linguistic Grounding (ALG) の2技術から構成 - VLN-CE と ObjectNav タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存エージェントは過度に詳細なシーン表現と曖昧な vision-language alignment に悩み、ナビゲーションに有用な高レベル scene priors の理解が弱い - その結果、言語命令に違反する行動を招きやすい - 提案法は misleading な幾何的詳細ではなく視覚遷移の規則性・意味的 scene layout に注目 - 細粒度の意味マッチングで行動と進捗の正確な予測を可能にし、VLN-CE と ObjectNav で state-of-the-art を上回る

3. 技術・手法の肝は?

- 歴史的軌跡を compact な neural grids として構造的にモデル化 - Recursive Visual Imagination (RVI): 視覚遷移の規則性と意味的 scene layout に注目させる再帰的要約 - Adaptive Linguistic Grounding (ALG): 学習した situational memories を異なる言語構成要素に意図的に整合させる - 細粒度の意味マッチングによりナビゲーション行動と進捗を正確に予測

4. どうやって有効だと検証した?

- 挑戦的な VLN-CE と ObjectNav タスクで state-of-the-art 手法と比較 - 提案ポリシーがこれらの手法を上回る性能を示し、RVI と ALG の有効性を実証 - 具体的な指標・実験設定は要旨からは不明

5. 議論はある?

- 過度に詳細なシーン表現と曖昧な vision-language alignment がボトルネックであるとの問題提起 - 幾何的詳細を捨て高レベル scene priors を重視する設計の妥当性が議論の焦点 - 限界や失敗事例、計算コストなどは要旨からは不明

6. 次に読むべき論文は?

- VLN-CE および ObjectNav の state-of-the-art 手法(具体的名称は要旨からは不明) - vision-language alignment に関する関連研究 - neural grid や situational memory を用いたナビゲーション手法 - 同分野の定番として VLN ベンチマーク(Room-to-Room 等)や transformer ベースの VLN 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bolei Chen, Jiaxu Kang, Yifei Wang, Ping Zhong, Qi Wu, Jianxin Wang

分類: cs.CV, cs.RO

原文アブストラクト

Vision Language Navigation (VLN) typically requires agents to navigate to specified objects or remote regions in unknown scenes by obeying linguistic commands. Such tasks require organizing historical visual observations for linguistic grounding, which is critical for long-sequence navigational decisions. However, current agents suffer from overly detailed scene representation and ambiguous vision-language alignment, which weaken their comprehension of navigation-friendly high-level scene priors and easily lead to behaviors that violate linguistic commands. To tackle these issues, we propose a navigation policy by recursively summarizing along-the-way visual perceptions, which are adaptively aligned with commands to enhance linguistic grounding. In particular, by structurally modeling historical trajectories as compact neural grids, several Recursive Visual Imagination (RVI) techniques are proposed to motivate agents to focus on the regularity of visual transitions and semantic scene layouts, instead of dealing with misleading geometric details. Then, an Adaptive Linguistic Grounding (ALG) technique is proposed to align the learned situational memories with different linguistic components purposefully. Such fine-grained semantic matching facilitates the accurate anticipation of navigation actions and progress. Our navigation policy outperforms the state-of-the-art methods on the challenging VLN-CE and ObjectNav tasks, showing the superiority of our RVI and ALG techniques for VLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI