日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.10098

VLA-JEPA:潜在世界モデルで視覚-言語-行動モデルを強化

VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

シェア:XThreadsFacebookLINEはてブBluesky

未来のフレームを教師信号に使い、現在の観測だけから潜在空間で状態予測を学習するJEPA型事前学習で、VLAポリシーの汎化とロバスト性を高めた。

詳しい要約

1. どんなもの?

- VLA-JEPAは、Vision-Language-Action (VLA) ポリシーのためのJEPAスタイルの事前学習フレームワーク。 - インターネット規模の動画で事前学習する際、ピクセル変動に引きずられる問題を回避。 - 潜在空間での状態予測により、行動に関連する状態遷移を学習。 - 2段階のレシピ:JEPA事前学習とaction-head微調整。

2. 先行研究と比べてどこがすごい?

- 従来のlatent-action目的はピクセル変動に固定され、appearance bias、nuisance motion、情報漏洩に脆弱。 - VLA-JEPAはリークフリーな状態予測を設計により実現。 - 従来の多段階latent-actionパイプラインと比べ、単純な2段階で済む。 - カメラモーションや無関係な背景変化に頑健なダイナミクス抽象を学習。

3. 技術・手法の肝は?

- リークフリーな状態予測:target encoderが未来フレームから潜在表現を生成。 - student pathwayは現在の観測のみを見る。未来情報は監督ターゲットとしてのみ使用。 - ピクセル空間ではなく潜在空間で予測。 - これにより、行動に関連する状態遷移を捉える。

4. どうやって有効だと検証した?

- LIBERO、LIBERO-Plus、SimplerEnv、実世界マニピュレーションタスクで実験。 - 既存手法と比較して、一般化とロバスト性で一貫した向上を達成。 - 具体的な数値や詳細な評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - 今後の課題や失敗ケースについての言及はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:latent-action objectives、JEPA、VLA policies。 - 関連手法:LIBERO、LIBERO-Plus、SimplerEnv。 - 同分野の定番:Vision-Language-Actionモデル、world model、自己教師あり学習。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingwen Sun, Wenyao Zhang, Zekun Qi, Shaojie Ren, Zezhi Liu, Hanxin Zhu, Guangzhong Sun, Xin Jin, Zhibo Chen

分類: cs.RO, cs.CV

原文アブストラクト

Pretraining Vision-Language-Action (VLA) policies on internet-scale video is appealing, yet current latent-action objectives often learn the wrong thing: they remain anchored to pixel variation rather than action-relevant state transitions, making them vulnerable to appearance bias, nuisance motion, and information leakage. We introduce VLA-JEPA, a JEPA-style pretraining framework that sidesteps these pitfalls by design. The key idea is leakage-free state prediction: a target encoder produces latent representations from future frames, while the student pathway sees only the current observation -- future information is used solely as supervision targets, never as input. By predicting in latent space rather than pixel space, VLA-JEPA learns dynamics abstractions that are robust to camera motion and irrelevant background changes. This yields a simple two-stage recipe -- JEPA pretraining followed by action-head fine-tuning -- without the multi-stage complexity of prior latent-action pipelines. Experiments on LIBERO, LIBERO-Plus, SimplerEnv and real-world manipulation tasks show that VLA-JEPA achieves consistent gains in generalization and robustness over existing methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI