日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2511.05963

次潜在予測トランスフォーマーによるコンパクトな世界モデルの学習

Next-Latent Prediction Transformers Learn Compact World Models

シェア:XThreadsFacebookLINEはてブBluesky

トランスフォーマーに潜在空間での次状態予測を自己教師ありで学習させ、履歴を圧縮した信念状態を持つコンパクトな世界モデルを獲得させる手法を提案。

詳しい要約

1. どんなもの?

- Transformer に latent 空間での次状態予測を追加する学習法 NextLat の提案 - 標準の next-token 予測に自己教師ありの latent 予測を補助目的として加える - アーキテクチャ・並列学習効率・推論は変更せず、再帰的 inductive bias を注入する - 目的は履歴を圧縮した compact な internal world model の獲得

2. 先行研究と比べてどこがすごい?

- Transformer は系列長に比例して伸びる memory と self-attention による過去 token の ad-hoc 参照を持ち、履歴を compact な latent 状態へ圧縮する動機が無い - そのため汎化の悪い解を学習しやすいという問題がある - NextLat は latent が belief state に収束することを理論的に示す - 標準 next-token 予測や他 baseline に対し下流精度・表現圧縮・lookahead planning で改善

3. 技術・手法の肝は?

- 次 token が与えられたときの次 latent 状態を予測する自己教師あり損失を追加 - 標準の next-token 訓練と組み合わせて Transformer を学習 - アーキテクチャは変えず補助目的のみで再帰的 inductive bias を導入 - 理論的に latent が belief state(将来予測に必要な履歴の圧縮情報)へ収束することを示す - 一貫した belief state と遷移ダイナミクスを持つ compact な world model 形成を促す

4. どうやって有効だと検証した?

- world modeling, reasoning, planning, language modeling の各 benchmark で評価 - 標準 next-token 予測および他 baseline と比較し、下流精度・表現圧縮・lookahead planning の改善を報告 - 可変長 self-speculative decoding を可能にし、language modeling で最大 3.3x の推論高速化を確認 - コード公開あり(https://github.com/JaydenTeoh/NextLat)

5. 議論はある?

- 理論的には latent の belief state への収束を示すが、実装・実験条件の詳細は要旨からは不明 - 補助目的の重みや latent 次元などの設計依存性は要旨からは不明 - 改善の一般性や他アーキテクチャへの適用可能性は要旨からは不明 - self-speculative decoding の高速化条件や精度影響の詳細は要旨からは不明

6. 次に読むべき論文は?

- 標準的な next-token prediction を用いる Transformer 言語モデル(例: GPT 系) - belief state や world model に関する既存研究(POMDP の belief state 推定など) - self-speculative decoding に関する既存手法 - latent 予測や補助目的を用いる表現学習(例: 自己教師あり予測学習) - 要旨で明示的に参照・比較されている個別論文は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

分類: cs.LG

原文アブストラクト

Transformers replace recurrence with a memory that grows with sequence length and self-attention that enables ad-hoc lookups over past tokens. Consequently, they lack an inherent incentive to compress history into compact latent states with consistent transition rules. This often leads to learning solutions that generalize poorly. We introduce Next-Latent Prediction (NextLat), which extends standard next-token training with self-supervised predictions in the latent space. Specifically, NextLat trains a transformer to learn latent representations that are predictive of its next latent state given the next token. Theoretically, we show that these latents provably converge towards belief states, compressed information about the history necessary to predict the future. This simple auxiliary objective injects a recurrent inductive bias into transformers while leaving their architecture, parallel training efficiency, and inference unchanged. NextLat effectively encourages transformers to form compact internal world models with coherent belief states and transition dynamics -- crucial properties not guaranteed by standard next-token prediction alone. Empirically, across benchmarks in world modeling, reasoning, planning, and language modeling, NextLat demonstrates significant gains over standard next-token prediction and other baselines in downstream accuracy, representation compression, and lookahead planning. Furthermore, NextLat enables variable-length self-speculative decoding, accelerating inference by up to 3.3x in language modeling. NextLat offers a simple yet effective paradigm for learning compact, predictive representations in transformers that generalize better. Our code is available at https://github.com/JaydenTeoh/NextLat.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI