日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2603.19312

LeWorldModel: ピクセルからの安定したエンドツーエンド共同埋め込み予測アーキテクチャ

LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels

シェア:XThreadsFacebookLINEはてブBluesky

ピクセルから直接、2つの損失項のみで安定して学習できる初のJEPA世界モデルを提案し、制御タスクで高速かつ競争力のある性能を示した。

詳しい要約

1. どんなもの?

- 提案手法: LeWorldModel (LeWM) - 生のピクセルから安定してend-to-endで学習する初のJEPA - 世界モデルをコンパクトな潜在空間で学習 - 特徴: - 損失項はnext-embedding prediction lossとGaussian-distributed latent embeddingsを強制するregularizerの2つのみ - 約15Mパラメータで単一GPU数時間で学習可能 - 2D/3D制御タスクで競争力のある性能 - 物理量のproblingにより潜在空間が物理構造をエンコード - Surprise評価で物理的にありえないイベントを検出

2. 先行研究と比べてどこがすごい?

- 既存のJEPAは脆弱で、複雑な多項損失、exponential moving averages、事前学習済みエンコーダ、補助監督に依存し表現崩壊を回避 - LeWMは初のend-to-endで生ピクセルから安定学習するJEPA - 唯一の既存end-to-end代替と比較して、調整可能な損失ハイパーパラメータを6から1に削減 - 基盤モデルベースの世界モデルより最大48倍高速に計画可能 - 多様な2D/3D制御タスクで競争力あり

3. 技術・手法の肝は?

- 損失関数: next-embedding prediction loss + Gaussian-distributed latent embeddingsを強制するregularizerの2項のみ - アーキテクチャ: Joint Embedding Predictive Architecture (JEPA) をend-to-endで学習 - 学習: 生ピクセルから直接、単一GPUで数時間 - パラメータ数: 約15M - 計画: 潜在空間で計画を実行し、最大48倍高速化

4. どうやって有効だと検証した?

- 多様な2Dおよび3D制御タスクで競争力のある性能を確認 - 物理量のproblingにより潜在空間が意味のある物理構造をエンコードすることを検証 - Surprise評価により物理的にありえないイベントを信頼性高く検出することを確認

5. 議論はある?

- 要旨からは不明 - ただし、既存手法の脆弱性や複雑な損失設計の問題点を指摘し、LeWMの安定性と効率性を主張 - 潜在空間の物理構造やSurprise検出の意義について言及

6. 次に読むべき論文は?

- 既存のJEPA手法(例: I-JEPA, V-JEPAなど) - 基盤モデルベースの世界モデル(例: 大規模言語モデルを利用したもの) - 表現崩壊を回避するための手法(exponential moving averages, 事前学習済みエンコーダ, 補助監督) - 関連する世界モデル研究(Dreamer, PlaNetなど)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lucas Maes, Quentin Le Lidec, Damien Scieur, Yann LeCun, Randall Balestriero

分類: cs.LG, cs.AI

原文アブストラクト

Joint Embedding Predictive Architectures (JEPAs) offer a compelling framework for learning world models in compact latent spaces, yet existing methods remain fragile, relying on complex multi-term losses, exponential moving averages, pre-trained encoders, or auxiliary supervision to avoid representation collapse. In this work, we introduce LeWorldModel (LeWM), the first JEPA that trains stably end-to-end from raw pixels using only two loss terms: a next-embedding prediction loss and a regularizer enforcing Gaussian-distributed latent embeddings. This reduces tunable loss hyperparameters from six to one compared to the only existing end-to-end alternative. With ~15M parameters trainable on a single GPU in a few hours, LeWM plans up to 48x faster than foundation-model-based world models while remaining competitive across diverse 2D and 3D control tasks. Beyond control, we show that LeWM's latent space encodes meaningful physical structure through probing of physical quantities. Surprise evaluation confirms that the model reliably detects physically implausible events.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI