日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.20897

左脳から右脳へ:視覚と言語によるナビゲーションのための適応的テキストドリーマー

Cross from Left to Right Brain: Adaptive Text Dreamer for Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚と言語によるナビゲーション(VLN)において、LLMをベースに左脳(論理統合)と右脳(想像的予測)の二重分岐構造で将来の環境意味を言語形式で適応的に想像し、ナビゲーション専門モジュールと統合する手法を提案。R2Rベンチマークで少ないパラメータで最先端性能を達成。

詳しい要約

1. どんなもの?

- Vision-and-Language Navigation (VLN) において、視覚ではなく言語形式で将来の環境意味を適応的に想像する Adaptive Text Dreamer (ATD) を提案する研究。 - LLM を基盤とした dual-branch self-guided imagination policy で、左脳(論理統合)と右脳(想像予測)からなる人間の左右脳アーキテクチャを模す。 - 想像出力を navigation expert module に注入し、LLM の推論能力とナビゲーションモデルの専門性を併用する。

2. 先行研究と比べてどこがすごい?

- 先行手法は将来シーンを vision-based synthesis で想像するため計算コストが高く冗長な詳細が多い。 - 本手法は key environmental semantics を language 形式で適応的に想像し、より信頼性が高く効率的な戦略を実現。 - R2R benchmark で fewer parameters ながら state-of-the-art 性能を達成したと主張。

3. 技術・手法の肝は?

- LLM 上の dual-branch self-guided imagination policy を採用し、左脳が logical integration、右脳が future scenes の imaginative prediction を担う。 - 両脳内の Q-former のみを fine-tune し、LLM のドメイン固有知識を効率的に活性化、ナビゲーション中の論理推論と想像を動的更新。 - cross-interaction mechanism で想像出力を正則化し navigation expert module に注入、LLM の reasoning とナビゲーションモデルの expertise を jointly 活用。

4. どうやって有効だと検証した?

- R2R benchmark で extensive experiments を実施。 - ATD が fewer parameters で state-of-the-art performance を達成したと報告。 - 具体的な比較手法や指標の詳細は要旨からは不明。

5. 議論はある?

- 視覚ベース想像の高計算コストと冗長性を言語形式の想像で回避する点を議論。 - 左右脳アーキテクチャや cross-interaction mechanism の設計妥当性に関する詳細な議論は要旨からは不明。 - 限界や失敗ケースについての記述は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている vision-based synthesis による将来シーン想像手法(具体名は要旨からは不明)。 - LLM ベースの VLN 手法および navigation expert module 関連研究(具体名は要旨からは不明)。 - 同分野の定番として R2R benchmark を用いる VLN 研究全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pingrui Zhang, Yifei Su, Pengyuan Wu, Dong An, Li Zhang, Zhigang Wang, Dong Wang, Yan Ding, Bin Zhao, Xuelong Li

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) requires the agent to navigate by following natural instructions under partial observability, making it difficult to align perception with language. Recent methods mitigate this by imagining future scenes, yet they rely on vision-based synthesis, leading to high computational cost and redundant details. To this end, we propose to adaptively imagine key environmental semantics via \textit{language} form, enabling a more reliable and efficient strategy. Specifically, we introduce a novel Adaptive Text Dreamer (ATD), a dual-branch self-guided imagination policy built upon a large language model (LLM). ATD is designed with a human-like left-right brain architecture, where the left brain focuses on logical integration, and the right brain is responsible for imaginative prediction of future scenes. To achieve this, we fine-tune only the Q-former within both brains to efficiently activate domain-specific knowledge in the LLM, enabling dynamic updates of logical reasoning and imagination during navigation. Furthermore, we introduce a cross-interaction mechanism to regularize the imagined outputs and inject them into a navigation expert module, allowing ATD to jointly exploit both the reasoning capacity of the LLM and the expertise of the navigation model. We conduct extensive experiments on the R2R benchmark, where ATD achieves state-of-the-art performance with fewer parameters. The code is \href{https://github.com/zhangpingrui/Adaptive-Text-Dreamer}{here}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI