視覚ナビゲーション2026/9/28arXiv:2610.23896

意図先行の潜在計画とJEPA世界モデルを組み合わせた視覚ナビゲーション

InJePA: Intention-First Latent Planning with Coupled JEPA World Models for Visual Navigation

目標条件付きJEPAが潜在的な意図を提案し、行動条件付きJEPAが将来の潜在状態を予測する閉ループ構造で、意図・行動・結果を連携させて視覚ナビゲーションの計画を構築する手法を提案した論文。

詳しい要約

1. どんなもの？

- 視覚ナビゲーションのための新しい計画パラダイム InJepa を提案する論文 - 意図(intention)を中心に据えた latent 空間での planning 手法 - 2つの JEPA を組み合わせる - goal conditioned JEPA: latent intention を提案 - action conditioned JEPA: 将来の latent state を継続的に予測 - Habitat MP3D での closed loop image goal navigation で評価

2. 先行研究と比べてどこがすごい？

- 代表的な navigation world model 手法との比較が主張の中心 - 先行手法は完全な action candidate を先に生成し、その結果を予測して選択・探索更新に使う - 予測は主に提案済み action の評価に使われ、候補の段階的構築を導かない - InJepa は予測結果を次の intention 提案と action 推論にフィードバックし、候補構築自体を導く点が異なる - world model の役割を評価から plan 構築の主導へ拡張

3. 技術・手法の肝は？

- intention first の planning パラダイム - goal conditioned JEPA が latent intention を提案 - action conditioned JEPA が将来の latent state を予測 - 両者は shared latent space で動作し、予測表現を整合させる - 各候補内で予測結果が次の intention 提案と action inference に入力される - intention・action・consequence の closed loop を形成 - 詳細なネットワーク構成や学習損失は要旨からは不明

4. どうやって有効だと検証した？

- Habitat MP3D における closed loop image goal navigation で評価 - intention に導かれた action 生成と consequence feedback による multistep navigation が有効と報告 - 複数の encoder での実験により、視覚表現をまたぐ適用可能性を支持 - 定量指標や比較手法の詳細は要旨からは不明

5. 議論はある？

- latent intention を planning の中心対象とすることの妥当性を主張 - world model が intention と consequence の協調推論を通じて plan 構築を直接導けることを示唆 - encoder を変えても適用可能とする結果の解釈が議論の対象 - 限界や失敗事例、計算コスト、他タスクへの一般化は要旨からは不明

6. 次に読むべき論文は？

- 比較対象として想定される navigation world model 系の代表手法(具体的名称は要旨からは不明) - JEPA 系の世界モデル研究(原典の JEPA 関連論文) - Habitat MP3D を用いた image goal navigation の代表的研究 - latent space での model-based planning に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siming Zhou, Bowen Ma, Ruiran Du, Pengcheng Zheng, Sheng Zheng, Dongshen Han, Zhijie Li, Wei Dong, Fan Mo, Chaoning Zhang

分類: cs.RO, cs.CV, cs.LG

原文アブストラクト

Visual navigation requires goal directed planning informed by predictions of environment dynamics. Representative navigation world model methods propose complete action candidates before predicting consequences for selection or search updates. For each candidate, predictions primarily evaluate proposed actions rather than guide its stepwise construction. To this end, we propose InJepa, an intention first planning paradigm centered on latent states. A goal conditioned JEPA proposes latent intentions, and an action conditioned JEPA continually predicts future latent states. Both operate in a shared latent space to align their predictive representations. Within each candidate, predicted consequences feed into the next intention proposal and action inference, forming a closed loop of intention, action, and consequence. This extends the world model's role beyond evaluation to leading candidate construction through latent intentions. We evaluate InJepa through closed loop image goal navigation in Habitat MP3D. The results show effective multistep navigation through intention guided action generation and consequence feedback. Experiments across encoders further support applicability across visual representations. These findings support latent intentions as the central planning object and show that world models can directly guide plan construction through coordinated reasoning about intentions and consequences. Code is available at https://github.com/zhuxun132/InJepa.

arXivで原文を読む →arXiv概要ページ

意図先行の潜在計画とJEPA世界モデルを組み合わせた視覚ナビゲーション

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell