日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.11832

JEPA-VLA:VLAモデルに動画予測埋め込みが必要な理由

JEPA-VLA: Video Predictive Embedding is Needed for VLA Models

シェア:XThreadsFacebookLINEはてブBluesky

動画で事前学習した予測埋め込み(V-JEPA 2)をVLAモデルに適応的に統合し、サンプル効率と汎化性能を大幅に向上させる手法を提案。

詳しい要約

1. どんなもの?

- VLAモデル向けにvideo predictive embeddingを統合するJEPA-VLAを提案。 - 既存VLAの低いsample efficiencyと限定的なgeneralizationを、pretrained visual representationの不足から説明。 - V-JEPA 2などのpredictive embeddingを適応的に組み込む。 - LIBERO、LIBERO-plus、RoboTwin2.0、real-robotで性能向上。

2. 先行研究と比べてどこがすごい?

- 従来VLAはpretrained VLMを基盤とし、visual representationはlanguage-image contrastive learningやimage-based self-supervised learningで事前学習。 - これらはtask-relevantな環境情報の捕捉とpolicy priorの誘導が不十分。 - 一方、videoで事前学習したpredictive embeddingは予測不能要因を柔軟に捨て、task-relevantなtemporal dynamicsを符号化。 - この利点をVLAに統合した点が新規。

3. 技術・手法の肝は?

- video predictive embedding、特にV-JEPA 2を利用。 - 予測不能な環境要因を捨て、task-relevantな時間的ダイナミクスを符号化。 - 既存VLAにpredictive embeddingを適応的に統合するシンプルな手法。 - 具体的な統合アーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- LIBERO、LIBERO-plus、RoboTwin2.0、real-robotタスクで実験。 - 幅広いベンチマークでsubstantialな性能向上を確認。 - 詳細な評価指標や比較手法は要旨からは不明。

5. 議論はある?

- 既存VLAのvisual representationがenvironment understandingとpolicy priorの両面で不十分であると分析。 - predictive embeddingがこれらの欠点を補うと主張。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- V-JEPA 2(video predictive embeddingの代表例) - 既存VLAの基盤であるpretrained VLM - language-image contrastive learning(例:CLIP) - image-based self-supervised learning(例:DINOv2) - LIBERO、LIBERO-plus、RoboTwin2.0(ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shangchen Miao, Ningya Feng, Jialong Wu, Ye Lin, Xu He, Dong Li, Mingsheng Long

分類: cs.CV, cs.RO

原文アブストラクト

Recent vision-language-action (VLA) models built upon pretrained vision-language models (VLMs) have achieved significant improvements in robotic manipulation. However, current VLAs still suffer from low sample efficiency and limited generalization. This paper argues that these limitations are closely tied to an overlooked component, pretrained visual representation, which offers insufficient knowledge on both aspects of environment understanding and policy prior. Through an in-depth analysis, we find that commonly used visual representations in VLAs, whether pretrained via language-image contrastive learning or image-based self-supervised learning, remain inadequate at capturing crucial, task-relevant environment information and at inducing effective policy priors, i.e., anticipatory knowledge of how the environment evolves under successful task execution. In contrast, we discover that predictive embeddings pretrained on videos, in particular V-JEPA 2, are adept at flexibly discarding unpredictable environment factors and encoding task-relevant temporal dynamics, thereby effectively compensating for key shortcomings of existing visual representations in VLAs. Building on these observations, we introduce JEPA-VLA, a simple yet effective approach that adaptively integrates predictive embeddings into existing VLAs. Our experiments demonstrate that JEPA-VLA yields substantial performance gains across a range of benchmarks, including LIBERO, LIBERO-plus, RoboTwin2.0, and real-robot tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI