日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.13976

FantasyVLN: 視覚言語ナビゲーションのための統合マルチモーダル思考連鎖推論

FantasyVLN: Unified Multimodal Chain-of-Thought Reasoning for Vision-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語ナビゲーションにおいて、想像上の視覚トークンを潜在空間に圧縮して思考連鎖推論を行い、リアルタイム動作を実現する統合フレームワークを提案。

詳しい要約

1. どんなもの?

- 本論文は、Vision-and-Language Navigation (VLN) のための統合マルチモーダル Chain-of-Thought (CoT) 推論フレームワーク FantasyVLN を提案する。 - 従来の CoT 手法の課題(テキスト CoT の空間的接地欠如、マルチモーダル CoT のトークン膨張)を解決し、暗黙的推論によりリアルタイムナビゲーションを実現する。 - 推論時には直接的な指示から行動へのマッピングを行いながら、推論を意識した表現を活用する。

2. 先行研究と比べてどこがすごい?

- 先行研究の NavCoT や NavGPT-2 は CoT 推論の可能性を示したが、テキスト CoT は空間的接地がなく、マルチモーダル CoT は想像上の視覚観測を生成することでトークンが膨張し、リアルタイムナビゲーションが困難であった。 - FantasyVLN は、明示的なトークンオーバーヘッドなしに CoT 推論の利点を保持し、推論を意識しつつリアルタイムなナビゲーションを実現する点で優れている。 - 実験では、明示的 CoT 手法と比較して推論レイテンシを桁違いに削減し、成功率と効率を向上させた。

3. 技術・手法の肝は?

- 推論トレーニング中に、想像上の視覚トークンを pretrained Visual AutoRegressor (VAR) を用いてコンパクトな潜在空間にエンコードする。 - テキスト、視覚、マルチモーダル CoT モードを統一された multi-CoT 戦略の下で jointly に学習する。 - 推論時には、直接的な指示から行動へのマッピングを行い、推論を意識した表現を活用する。

4. どうやって有効だと検証した?

- LH-VLN データセット上で広範な実験を実施し、成功率と効率の向上、および明示的 CoT 手法と比較して推論レイテンシを桁違いに削減することを示した。 - これにより、推論を意識しつつリアルタイムなナビゲーションが可能であることを検証した。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明である。 - ただし、既存手法の欠点を克服し、リアルタイム性と推論能力の両立を実現した点が強調されている。

6. 次に読むべき論文は?

- 要旨で参照されている関連研究: NavCoT, NavGPT-2, OctoNav-R1, CoT-VLA。 - これらの手法は CoT 推論やマルチモーダル拡張に関連するため、次に読むべき論文として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jing Zuo, Lingzhou Mu, Fan Jiang, Chengcheng Ma, Mu Xu, Yonggang Qi

分類: cs.CV, cs.RO

原文アブストラクト

Achieving human-level performance in Vision-and-Language Navigation (VLN) requires an embodied agent to jointly understand multimodal instructions and visual-spatial context while reasoning over long action sequences. Recent works, such as NavCoT and NavGPT-2, demonstrate the potential of Chain-of-Thought (CoT) reasoning for improving interpretability and long-horizon planning. Moreover, multimodal extensions like OctoNav-R1 and CoT-VLA further validate CoT as a promising pathway toward human-like navigation reasoning. However, existing approaches face critical drawbacks: purely textual CoTs lack spatial grounding and easily overfit to sparse annotated reasoning steps, while multimodal CoTs incur severe token inflation by generating imagined visual observations, making real-time navigation impractical. In this work, we propose FantasyVLN, a unified implicit reasoning framework that preserves the benefits of CoT reasoning without explicit token overhead. Specifically, imagined visual tokens are encoded into a compact latent space using a pretrained Visual AutoRegressor (VAR) during CoT reasoning training, and the model jointly learns from textual, visual, and multimodal CoT modes under a unified multi-CoT strategy. At inference, our model performs direct instruction-to-action mapping while still enjoying reasoning-aware representations. Extensive experiments on LH-VLN show that our approach achieves reasoning-aware yet real-time navigation, improving success rates and efficiency while reducing inference latency by an order of magnitude compared to explicit CoT methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI