日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.07868

VISTA: 視覚と言語によるナビゲーションのための生成的視覚想像

VISTA: Generative Visual Imagination for Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルを用いて言語指示に基づく未来の視覚イメージを生成し、現在の観測と整合させながら行動を決定するVLNフレームワークを提案。R2RとRoboTHORで最高性能を達成。

詳しい要約

1. どんなもの?

- VLN(Vision-and-Language Navigation)タスクで、自然言語指示と視覚手がかりから未見環境の特定物体を探索するエージェント向けフレームワーク「VISTA」 - 従来の『observe-and-reason』ではなく『imagine-and-align』型のナビゲーション戦略を採用 - 事前学習済み diffusion model の generative prior を活用し、局所観測と言語指示に条件付けられた動的 visual imagination を実行 - Perceptual Alignment Filter で想像したゴールを現在の観測と照合し、解釈可能で構造化された推論を経て行動選択 - Room-to-Room(R2R)と RoboTHOR で新たな state-of-the-art を達成(R2R で Success Rate +3.6%)

2. 先行研究と比べてどこがすごい?

- 既存の多くの VLN 手法は『observe-and-reason』スキーマに従い、周囲の視覚観測に基づき次行動を決定 - それらは即時観測の限界と vision-language modality gap のため long-horizon シナリオで課題に直面 - VISTA は generative prior による forward-looking な imagination を導入し、即時観測の制約を補う点が新しい - Perceptual Alignment Filter で想像と観測を整合させ、解釈可能な構造化推論を実現 - 結果として R2R と RoboTHOR で state-of-the-art を更新(R2R で Success Rate +3.6%)

3. 技術・手法の肝は?

- 事前学習済み diffusion model の generative prior を利用した動的 visual imagination - 想像は局所観測と高レベル言語指示の両方に条件付け - Perceptual Alignment Filter モジュールがゴール想像を現在の観測に対して grounding - この整合を経て、解釈可能かつ構造化された推論プロセスで行動選択を導く - キーワード: diffusion model, generative prior, visual imagination, Perceptual Alignment Filter, structured reasoning

4. どうやって有効だと検証した?

- Room-to-Room(R2R)と RoboTHOR ベンチマークで実験 - R2R で Success Rate が +3.6% 向上し、新たな state-of-the-art を達成 - 広範な ablation 分析を実施 - ablation により forward-looking imagination、perceptual alignment、structured reasoning の統合が long-horizon 環境での堅牢なナビゲーションに有効であることを示唆

5. 議論はある?

- 要旨からは不明(具体的な限界や失敗事例、計算コスト、diffusion model 依存性に関する議論は要旨に記載なし) - 要旨では forward-looking imagination、perceptual alignment、structured reasoning の価値を ablation で強調

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な既存 VLN 研究は明記されていない - 関連手法として、VLN の定番である seq2seq ベースの Room-to-Room(R2R)手法や、事前学習型 VLN(例: PREVALENT, VLN-BERT)、diffusion model を用いた生成的手法、RoboTHOR を用いる embodied AI 研究を次に読む候補として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanjia Huang, Mingyang Wu, Renjie Li, Zhengzhong Tu

分類: cs.RO

原文アブストラクト

Vision-and-Language Navigation (VLN) tasks agents with locating specific objects in unseen environments using natural language instructions and visual cues. Many existing VLN approaches typically follow an 'observe-and-reason' schema, that is, agents observe the environment and decide on the next action to take based on the visual observations of their surroundings. They often face challenges in long-horizon scenarios due to limitations in immediate observation and vision-language modality gaps. To overcome this, we present VISTA, a novel framework that employs an 'imagine-and-align' navigation strategy. Specifically, we leverage the generative prior of pre-trained diffusion models for dynamic visual imagination conditioned on both local observations and high-level language instructions. A Perceptual Alignment Filter module then grounds these goal imaginations against current observations, guiding an interpretable and structured reasoning process for action selection. Experiments show that VISTA sets new state-of-the-art results on Room-to-Room (R2R) and RoboTHOR benchmarks, e.g.,+3.6% increase in Success Rate on R2R. Extensive ablation analysis underscores the value of integrating forward-looking imagination, perceptual alignment, and structured reasoning for robust navigation in long-horizon environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI