日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.26379

LeJEPAはいつ世界モデルを学習するのか?

When Does LeJEPA Learn a World Model?

シェア:XThreadsFacebookLINEはてブBluesky

LeJEPAが非線形観測から世界の潜在変数を線形に復元できる条件を理論的に証明し、ガウス分布が唯一の保証を持つことを示した論文。

詳しい要約

1. どんなもの?

LeJEPA(alignmentとGaussian regularization)が、非線形観測から世界の潜在変数を線形に復元(linear identifiability)できる条件を理論的に解明した研究。latentがstationary additive-noise transitionsで進化する広いクラスの世界を対象に、Gaussianがその保証が成り立つ唯一のlatent分布であることを証明。さらに近似identifiabilityと、線形・直交identifiabilityが最適なlatent-space planningを可能にすることを示す。

2. 先行研究と比べてどこがすごい?

従来は経験的に成功していたLeJEPAのレシピに対し、本研究は数学的保証を与える。特に、Gaussian正則化が単なるヒューリスティックではなく、linear identifiabilityを得るために本質的かつ唯一の分布であることを示した点が新しい。また、identifiabilityがplanningの最適性に繋がることを理論的に結びつけた。

3. 技術・手法の肝は?

- 対象:latentがstationary additive-noise transitionsに従う世界 - 手法:LeJEPAのalignment項とGaussian regularizationを理論解析 - 鍵:spectral decompositionにより、非線形性の各次数がalignmentで厳密に罰せられ、線形写像が最適解となる - 逆:非Gaussian分布では保証が成り立たないことを排除 - 拡張:近似identifiabilityを示し、保証が緩やかに劣化することを証明 - 応用:線形・直交identifiabilityが最適なlatent-space planningを可能にすることを証明

4. どうやって有効だと検証した?

2Dの例から1024次元のlatentまでを含む実験で理論を検証。分布のablation実験や、pixel-based robotic controlも実施。これにより、理論的保証が実際の設定でも成り立つことを確認。

5. 議論はある?

要旨からは不明。ただし、理論の前提(stationary additive-noise transitions、Gaussian latent)が現実の世界モデル構築でどの程度成立するか、また近似identifiabilityの限界については議論の余地があると考えられる。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法としてLeJEPA、JEPA、linear identifiability、world model、latent-space planning、Gaussian regularizationなどが挙げられる。同分野の定番として、JEPA系の自己教師あり学習や、identifiability理論(例:ICA、nonlinear ICA)の論文を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David Klindt, Yann LeCun, Randall Balestriero

分類: stat.ML, cs.LG

原文アブストラクト

A representation that scrambles the true degrees of freedom of the world cannot support reliable planning or compositional generalization. We prove that LeJEPA (alignment plus Gaussian regularization) linearly recovers the world's latent variables from nonlinear observations, a property known as linear identifiability, in a broad class of worlds where latents evolve under stationary, additive-noise transitions. Our main result is that among all such worlds, the Gaussian is the unique latent distribution for which this guarantee holds. The forward direction rests on a spectral decomposition in which each degree of nonlinearity is strictly penalized by alignment, making the linear map the optimum; the converse rules out every non-Gaussian alternative. We further prove an approximate identifiability result where the guarantee degrades gracefully, and show that linear, orthogonal identifiability enables optimal latent-space planning. We validate the theory with experiments ranging from 2D examples to 1024-dimensional latents, including distributional ablations and pixel-based robotic control. Our theory turns an empirically successful recipe into a mathematical guarantee, providing the foundation for building World Models that provably recover the structure of the world.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI