日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2605.09241

Sub-JEPA: 部分空間ガウス正則化による安定なエンドツーエンド世界モデル

Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPA世界モデルの学習崩壊を防ぐため、埋め込み空間全体ではなく複数のランダム部分空間にガウス事前分布を課す手法を提案し、連続制御タスクで既存手法を大きく上回る性能を示した。

詳しい要約

1. どんなもの?

- JEPA(Joint-Embedding Predictive Architectures)の世界モデル学習における表現崩壊(collapse)問題を緩和する手法。 - 潜在埋め込みに等方ガウス事前分布を課すLeWorldModel(LeWM)を拡張し、元の埋め込み空間ではなく複数のランダム部分空間でガウス制約を適用するSub-JEPAを提案。 - バイアス-バリアンストレードオフの良好な動作点を目指す。 - 連続制御環境4つで評価。

2. 先行研究と比べてどこがすごい?

- 先行のLeWMは等方ガウス事前分布を元の埋め込み空間に直接課すため、過剰なバイアスが生じる。 - 潜在表現は高次元空間内の低次元多様体上にあるため、そのような強い制約は不適切。 - Sub-JEPAは複数のランダム部分空間で制約を課すことで、大域制約を緩和しつつ崩壊防止効果を維持。 - 訓練安定性と表現柔軟性のバランスが改善。 - 4つの連続制御環境でLeWMを明確なマージンで上回る。

3. 技術・手法の肝は?

- 元の埋め込み空間ではなく、複数のランダム部分空間においてガウス制約を適用。 - これにより等方ガウス事前分布の大域的な強いバイアスを緩和。 - 崩壊防止効果を保ちながら、表現の柔軟性を確保。 - シンプルだが効果的な設計。

4. どうやって有効だと検証した?

- 4つの連続制御環境(continuous-control environments)で実験。 - Sub-JEPAがLeWMを明確なマージンで一貫して上回ることを示した。 - コードは公開されている。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LeWorldModel (LeWM) - JEPA(Joint-Embedding Predictive Architectures) - 関連する世界モデル研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Zhao, Dongliang Nie, Yuchen Lin, Zhehan Luo, Yixiao Gu, Deng-Ping Fan, Dan Zeng

分類: cs.LG, cs.AI

原文アブストラクト

Joint-Embedding Predictive Architectures (JEPAs) provide a simpleframework for learning world models by predicting future latent representations.However, JEPA training is subject to a bias-variance tradeoff.Without sufficient structural constraints, excessive representationalvariance causes the model to collapse to trivial solutions.The recent LeWorldModel (LeWM) shows that this issue can be alleviated bysimply constraining latent embeddings with an isotropic Gaussian prior.However, latent representations inherently lie on low-dimensional manifoldswithin a high-dimensional ambient space, and enforcing an isotropic Gaussianprior directly in this ambient space introduces an overly strong bias.In this work, we propose ame, which seeks a favorable operatingpoint on the bias-variance frontier by applying Gaussian constraints inmultiple random subspaces rather than in the originalembedding space.This design relaxes the global constraint while preserving itsanti-collapse effect, leading to a better balance between trainingstability and representation flexibility.Extensive experiments across fourcontinuous-control environments demonstrate that consistentlyoutperforms LeWM with very clear margins.Our method is simple yet effective, and serves as a strong baseline for future JEPA-based world model research.fdefinedeeemodeThe code is available at https://github.com/intcomp/Sub-JEPA.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI