日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.29165

LatentPilot: 潜在視覚推論による先読みでシーンを理解する視覚言語ナビゲーション

LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

未来の観測を訓練時に活用して行動条件付き視覚ダイナミクスを学習し、推論時には未来フレームを使わずに潜在トークンで先読み推論を行う新しいVLNパラダイムを提案し、ベンチマークと実ロボットでSOTAを達成した。

詳しい要約

1. どんなもの?

- 既存の vision-and-language navigation (VLN) モデルは過去と現在の視覚観測のみを推論し、行動に起因する将来の視覚変化を無視している。 - その結果、行動と視覚世界の変化の因果関係を理解できず、堅牢な意思決定が制限される。 - 人間は行動とダイナミクスの因果関係を活用して近未来を想像し、環境理解とナビゲーション選択を改善する。 - この能力に着想を得て、LatentPilot という新しいパラダイムを提案。 - 訓練中に将来の観測を貴重なデータ源として活用し、行動条件付き視覚ダイナミクスを学習する。 - 推論時には将来のフレームへのアクセスを必要としない。

2. 先行研究と比べてどこがすごい?

- 既存の VLN モデルは過去と現在の視覚観測のみを推論し、将来の視覚ダイナミクスを無視していた。 - LatentPilot は訓練中に将来の観測を活用して行動条件付き視覚ダイナミクスを学習する点が新しい。 - 推論時に将来のフレームを必要としないため、実用的である。 - R2R-CE, RxR-CE, R2R-PE ベンチマークで新たな SOTA を達成。 - 実ロボットテストで多様な環境における環境-行動ダイナミクスの優れた理解を示す。

3. 技術・手法の肝は?

- flywheel-style 訓練メカニズムを提案。 - オンライン方策軌跡を反復的に収集し、エージェントの行動分布により適合するようにモデルを再訓練。 - エージェントが過度に逸脱した場合に専門家のテイクオーバーをトリガー。 - 明示的な監督なしで視覚潜在トークンを学習。 - 潜在トークンは連続潜在空間でグローバルにアテンドし、ステップ間で持ち越される。 - 現在の出力と次の入力の両方として機能し、エージェントが先を夢見て行動が後続の観測に与える影響を推論できるようにする。

4. どうやって有効だと検証した?

- R2R-CE, RxR-CE, R2R-PE ベンチマークで実験を実施。 - 新たな SOTA 結果を達成。 - 多様な環境での実ロボットテストを実施。 - 実ロボットテストにより、LatentPilot の環境-行動ダイナミクスの優れた理解を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として vision-and-language navigation (VLN) の関連手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haihong Hao, Lei Chen, Mingfei Han, Changlin Li, Dong An, Yuqiang Yang, Zhihui Li, Xiaojun Chang

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Existing vision-and-language navigation (VLN) models primarily reason over past and current visual observations, while largely ignoring the future visual dynamics induced by actions. As a result, they often lack an effective understanding of the causal relationship between actions and how the visual world changes, limiting robust decision-making. Humans, in contrast, can imagine the near future by leveraging action-dynamics causality, which improves both environmental understanding and navigation choices. Inspired by this capability, we propose LatentPilot, a new paradigm that exploits future observations during training as a valuable data source to learn action-conditioned visual dynamics, while requiring no access to future frames at inference. Concretely, we propose a flywheel-style training mechanism that iteratively collects on-policy trajectories and retrains the model to better match the agent's behavior distribution, with an expert takeover triggered when the agent deviates excessively. LatentPilot further learns visual latent tokens without explicit supervision; these latent tokens attend globally in a continuous latent space and are carried across steps, serving as both the current output and the next input, thereby enabling the agent to dream ahead and reason about how actions will affect subsequent observations. Experiments on R2R-CE, RxR-CE, and R2R-PE benchmarks achieve new SOTA results, and real-robot tests across diverse environments demonstrate LatentPilot's superior understanding of environment-action dynamics in scene. Project page:https://abdd.top/latentpilot/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI