日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2609.32921

世界モデルのための適応的潜在容量

Adaptive Latent Capacity for World Models

シェア:XThreadsFacebookLINEはてブBluesky

JEPAベースの世界モデルALeWMを提案し、潜在表現の先頭部分に予測情報を集中させることで、固定幅モデルより高い成功率と低い計画容量を実現した。

詳しい要約

1. どんなもの?

- 提案手法: Adaptive LeWorldModel (ALeWM) - 世界モデルの一種 - 予測情報を潜在表現のコンパクトなプレフィックスに集中させる - アーキテクチャ: joint-embedding predictive architecture (JEPA) に基づく - 目的: 予測に有用な情報を早期の座標に保持し、再帰的計画を可能にする - 特徴: プレフィックス長の分布を学習し、予測器がサンプルされた入力プレフィックスから次の埋め込み全体を推定 - 正則化: MixSIGReg を導入し、マスクされた埋め込みをガウス活性プレフィックスと残り座標のゼロからなる事前重み付き混合で正則化

2. 先行研究と比べてどこがすごい?

- 先行研究: 固定幅の LeWM (tuned fixed-width LeWM) と比較 - 利点: - 平均成功率が一貫して高い - 平均計画容量が低い - 従来の anti-collapse 目的は潜在座標間の変動を促すが、予測重要度による組織化は行わない - ALeWM は予測重要度に基づく順序付けを実現

3. 技術・手法の肝は?

- 核心: プレフィックス長の条件付き分布を学習 - 予測器はサンプルされた入力プレフィックスから次の埋め込み全体を推定 - MixSIGReg: - マスクされた埋め込みを事前重み付き混合で正則化 - 混合: ガウス活性プレフィックス + 残り座標のゼロ - 理論的性質: - 混合分布は早期座標ブロックに高い分散、後期座標ブロックに低い分散を割り当てる - 特定の仮定下で、予測に最も有用な情報を早期ブロックに置くことで予測誤差が最小化される

4. どうやって有効だと検証した?

- 実験設定: - 既知の状態変数を持つ制御された力学系 - 目標条件付き視覚制御 - 結果: - ALeWM は調整済み固定幅 LeWM よりも一貫して高い平均成功率を達成 - 平均計画容量はより低い

5. 議論はある?

- 理論的議論: - MixSIGReg の混合分布が早期座標ブロックに高い分散、後期に低い分散を割り当てることを示す - 特定の仮定下で、予測に有用な情報を早期ブロックに置くことで予測誤差が最小化されることを示す - 実験的議論: - 制御された力学系と視覚制御タスクで有効性を確認 - 固定幅モデルと比較して成功率と計画容量のトレードオフを改善

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: - LeWM (固定幅) - joint-embedding predictive architecture (JEPA) - anti-collapse 目的 - 関連手法: - MixSIGReg - 同分野の定番: - World Models - Dreamer - PlaNet

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Idan Achituve, Lior Dikstein, Idit Diamant, Arnon Netzer, Hai Victor Habi

分類: cs.LG

原文アブストラクト

We introduce Adaptive LeWorldModel (ALeWM), a world model based on a joint-embedding predictive architecture (JEPA) that learns to concentrate predictive information in compact prefixes of a wide latent representation. To encourage this ordering, ALeWM learns a sequence-conditioned distribution over prefix lengths and trains the predictor to estimate the full next embedding from a sampled input prefix. As standard anti-collapse objectives encourage variation across latent coordinates and do not organize them by predictive importance, we also introduce MixSIGReg. MixSIGReg regularizes the masked embeddings against a prior-weighted mixture with Gaussian active prefixes and zeros in the remaining coordinates. As a result, the ALeWM objective encourages early coordinates to retain information useful for prediction and recursive planning. Our analysis shows that the mixture distribution used by MixSIGReg assigns higher variance to earlier coordinate blocks and lower variance to later ones. In addition, we show that, under specified assumptions, prediction error is minimized by placing the information most useful for prediction in earlier blocks. Empirically, we study the behavior of ALeWM in a controlled dynamical system with known state variables and in goal-conditioned visual control. We show that ALeWM consistently achieves higher mean success rates than tuned fixed-width LeWM, with lower planning capacity on average.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI