日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2603.25981

言語条件付き視覚ナビゲーションのためのポリシー誘導型ワールドモデルプランニング

Policy-Guided World Model Planning for Language-Conditioned Visual Navigation

シェア:XThreadsFacebookLINEはてブBluesky

学習済みナビゲーションポリシーと潜在ワールドモデルプランニングを組み合わせた二段階フレームワークPiJEPAを提案し、言語指示に基づく視覚ナビゲーションの性能を向上させた。

詳しい要約

1. どんなもの?

- 言語指示に基づく視覚ナビゲーションのためのフレームワーク PiJEPA を提案。 - 二段階構成:第一段階で Octo ベースの汎用ポリシーを CAST データセットで微調整し、第二段階でそのポリシー分布を MPPI プランニングの初期化に用いる。 - 世界モデルは JEPA で、凍結した視覚エンコーダ(DINOv2 または V-JEPA-2)の潜在空間で未来状態を予測。 - 実世界ナビゲーションタスクで評価。

2. 先行研究と比べてどこがすごい?

- 既存の reactive ポリシーは長期的計画が苦手、世界モデルは高次元空間での行動初期化が不十分という問題があった。 - PiJEPA はポリシー由来の分布で MPPI を warm-start することで、これらの課題を克服。 - 単独のポリシー実行や無情報な世界モデルプランニングよりも目標到達精度と言語指示追従性が大幅に向上。

3. 技術・手法の肝は?

- 第一段階:Octo ベースの汎用ポリシーを CAST ナビゲーションデータセットで微調整。凍結した視覚エンコーダ(DINOv2 または V-JEPA-2)を追加。 - 第二段階:ポリシーが出力する行動分布を MPPI のサンプリング初期分布として使用(無情報ガウス分布の代わり)。 - 世界モデルは JEPA で、同じ凍結エンコーダの埋め込み空間で未来潜在状態を予測。 - これにより MPPI が高品質な行動系列に速く収束。

4. どうやって有効だと検証した?

- 実世界ナビゲーションタスクで実験。 - 単独のポリシー実行および無情報な世界モデルプランニングと比較。 - 目標到達精度と言語指示追従性の改善を確認。 - 視覚エンコーダバックボーン(DINOv2 vs V-JEPA-2)の影響を体系的に調査。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Octo(汎用ポリシー) - CAST ナビゲーションデータセット - DINOv2 - V-JEPA-2 - JEPA 世界モデル - MPPI(Model Predictive Path Integral)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Amirhosein Chahe, Lifeng Zhou

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Navigating to a visually specified goal given natural language instructions remains a fundamental challenge in embodied AI. Existing approaches either rely on reactive policies that struggle with long-horizon planning, or employ world models that suffer from poor action initialization in high-dimensional spaces. We present PiJEPA, a two-stage framework that combines the strengths of learned navigation policies with latent world model planning for instruction-conditioned visual navigation. In the first stage, we finetune an Octo-based generalist policy, augmented with a frozen pretrained vision encoder (DINOv2 or V-JEPA-2), on the CAST navigation dataset to produce an informed action distribution conditioned on the current observation and language instruction. In the second stage, we use this policy-derived distribution to warm-start Model Predictive Path Integral (MPPI) planning over a separately trained JEPA world model, which predicts future latent states in the embedding space of the same frozen encoder. By initializing the MPPI sampling distribution from the policy prior rather than from an uninformed Gaussian, our planner converges faster to high-quality action sequences that reach the goal. We systematically study the effect of the vision encoder backbone, comparing DINOv2 and V-JEPA-2, across both the policy and world model components. Experiments on real-world navigation tasks demonstrate that PiJEPA significantly outperforms both standalone policy execution and uninformed world model planning, achieving improved goal-reaching accuracy and instruction-following fidelity.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI