日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.00041

VISTAv2: 屋内視覚言語ナビゲーションのための世界想像モデル

VISTAv2: World Imagination for Indoor Vision-and-Language Navigation

シェア:XThreadsFacebookLINEはてブBluesky

過去の観測・行動候補・指示から未来の視点を生成し、オンライン価値マップとして計画に融合する世界モデルを提案。MP3DとRoboTHORで性能向上を実証。

詳しい要約

1. どんなもの?

- VLN(Vision-and-Language Navigation)向けの生成的世界モデル VISTAv2 を提案 - 過去観測・候補行動列・指示文を条件に egocentric な未来視点を roll out し、online value map に射影して計画に使う - 連続実空間での指示追従を対象とし、MP3D と RoboTHOR で評価

2. 先行研究と比べてどこがすごい?

- 先行の image imagination ベース VLN は離散 panorama 向けで、online かつ action-conditioned な予測や明示的 planning value を欠く - 多くの手法は planner を long-horizon 目的関数で置換し脆く低速 - VISTAv2 は planner を置換せず、value map を score level で base objective と融合し reachability・risk-aware な guidance を与える

3. 技術・手法の肝は?

- action-aware Conditional Diffusion Transformer の video predictor で短 horizon の未来を合成 - vision-language scorer で指示文と整合付け - 複数 roll out を differentiable な imagination-to-value head で融合し imagined egocentric value map を出力 - 効率化のため VAE latent space での roll out、distilled sampler、sparse decoding を用い単一 consumer GPU で推論

4. どうやって有効だと検証した?

- MP3D と RoboTHOR で評価し strong baselines を上回る - ablation で action-conditioned imagination、instruction-guided value fusion、online value-map planner がいずれも重要と示す

5. 議論はある?

- 要旨からは不明(限界や失敗事例の詳細な議論は記述なし) - 著者は practical かつ interpretable で robust VLN への道筋と主張

6. 次に読むべき論文は?

- 先行 image imagination ベース VLN 研究(個別名は要旨に無し) - Conditional Diffusion Transformer 系 video prediction - VAE latent space と distilled sampler を用いる拡散高速化手法 - MP3D、RoboTHOR 上の VLN ベースライン(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanjia Huang, Xianshun Jiang, Xiangbo Gao, Mingyang Wu, Zhengzhong Tu

分類: cs.RO, cs.CV

原文アブストラクト

Vision-and-Language Navigation (VLN) requires agents to follow language instructions while acting in continuous real-world spaces. Prior image imagination based VLN work shows benefits for discrete panoramas but lacks online, action-conditioned predictions and does not produce explicit planning values; moreover, many methods replace the planner with long-horizon objectives that are brittle and slow. To bridge this gap, we propose VISTAv2, a generative world model that rolls out egocentric future views conditioned on past observations, candidate action sequences, and instructions, and projects them into an online value map for planning. Unlike prior approaches, VISTAv2 does not replace the planner. The online value map is fused at score level with the base objective, providing reachability and risk-aware guidance. Concretely, we employ an action-aware Conditional Diffusion Transformer video predictor to synthesize short-horizon futures, align them with the natural language instruction via a vision-language scorer, and fuse multiple rollouts in a differentiable imagination-to-value head to output an imagined egocentric value map. For efficiency, rollouts occur in VAE latent space with a distilled sampler and sparse decoding, enabling inference on a single consumer GPU. Evaluated on MP3D and RoboTHOR, VISTAv2 improves over strong baselines, and ablations show that action-conditioned imagination, instruction-guided value fusion, and the online value-map planner are all critical, suggesting that VISTAv2 offers a practical and interpretable route to robust VLN.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI