日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.27014

JEPAベース世界モデルの一般化理論

A Generalization Theory for JEPA-Based World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPA事前学習を条件付きスペクトルグラフ学習として定式化し、計画誤差との関連から有限サンプル一般化境界を導出した理論論文。

詳しい要約

1. どんなもの?

JEPA(Joint Embedding Predictive Architectures)ベースのworld modelの初の汎化理論を構築した研究。JEPA事前学習を条件付きスペクトルグラフ学習問題として定式化し、JEPA目的関数がaction-conditioned co-occurrence matrixの低ランク分解と等価であることを示す。さらにJEPA事前学習誤差と下流planning regretの関係を確立し、有限サンプル汎化バウンドを導出する。

2. 先行研究と比べてどこがすごい?

JEPAベースのworld modelは経験的成功を収めてきたが、理論的理解は限られていた。本論文はその初の汎化理論を提供する点で先行研究と異なる。また、潜在予測モデルと入力レベル予測アプローチを比較し、潜在次元に関する近似誤差とサンプル誤差のトレードオフを理論的に明らかにする。

3. 技術・手法の肝は?

JEPA事前学習をconditional spectral graph learning問題として定式化する。JEPA目的関数がaction-conditioned co-occurrence matrixのlow-rank factorizationと等価であることを示す。この特徴付けに基づき、JEPA pretraining errorとdownstream planning regretを結びつけ、finite-sample generalization boundを導出する。

4. どうやって有効だと検証した?

要旨からは不明。理論解析により汎化バウンドを導出しているが、実験的検証については記述がない。

5. 議論はある?

潜在次元に関して近似誤差とサンプル誤差の間に本質的なトレードオフが存在することを明らかにし、潜在予測モデルの利点と限界について理論的洞察を与える。入力レベル予測アプローチとの比較も議論している。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法としてJEPA(Joint Embedding Predictive Architectures)やworld model、latent predictive models、input-level predictive approachesが挙げられる。同分野の定番として、Dreamer、PlaNet、MuZeroなどのworld model関連論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingyi Cui, Qi Zhang, Hongwei Wen, Yisen Wang

分類: cs.LG

原文アブストラクト

Joint Embedding Predictive Architectures (JEPAs) have recently emerged as a promising paradigm for world modeling by learning predictive dynamics in a latent space rather than generating future observations at the input level. Despite their empirical success, the theoretical understanding of JEPA-based world models remains limited. In this paper, we develop the first generalization theory for JEPA-based world models. We formulate JEPA pretraining as a conditional spectral graph learning problem and show that the JEPA objective is equivalent to a low-rank factorization of an action-conditioned co-occurrence matrix. Building on this characterization, we establish a connection between JEPA pretraining error and downstream planning regret, leading to a finite-sample generalization bound for JEPA-based world models. Our analysis reveals an inherent trade-off between approximation and sample errors with respect to the latent dimension, providing theoretical insights into the advantages and limitations of latent predictive models compared with input-level predictive approaches.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI