日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2604.06155

マルチトークン予測と潜在意味拡張による一貫した世界モデルの構築

Toward Consistent World Models with Multi-Token Prediction and Latent Semantic Enhancement

シェア:XThreadsFacebookLINEはてブBluesky

LLMの内部世界モデルの一貫性を高めるため、マルチトークン予測(MTP)の理論的利点を分析し、構造的幻覚を防ぐ潜在意味拡張MTP(LSE-MTP)を提案した。実験で表現の整合性向上と幻覚低減を確認した。

詳しい要約

1. どんなもの?

LLMが一貫した内部世界モデルを獲得するかを巡る議論に対し、Multi-Token Prediction (MTP) の理論的・実証的分析を行い、構造的ハルシネーションを低減する Latent Semantic Enhancement MTP (LSE-MTP) を提案する研究。 - 従来の Next-Token Prediction (NTP) は1ステップ先の教師信号に依存 - MTPはより構造化された表現学習が期待される - 標準MTPは離散トークン教師により潜在空間で環境制約に反する不正なショートカットを生む構造的ハルシネーションを起こす - LSE-MTPは予測を真の隠れ状態軌道にアンカーする

2. 先行研究と比べてどこがすごい?

従来のNTPや標準MTPと比べ、以下の点が異なる。 - MTPの勾配帰納バイアスを理論的に分析し、勾配結合による表現の収縮性を通じて内部信念状態への収束を促すことを示した - 標準MTPが構造的ハルシネーションを起こすことを明らかにした - LSE-MTPにより離散トークンと連続状態表現のギャップを橋渡しし、表現アラインメントを高め、構造的ハルシネーションを減らし、摂動への頑健性を改善する

3. 技術・手法の肝は?

技術の肝は以下の通り。 - MTPの勾配帰納バイアスを理論的に分析し、勾配結合による表現の収縮性を導く - 標準MTPの構造的ハルシネーション問題を指摘 - LSE-MTPを提案し、予測を真の隠れ状態軌道にアンカーする - これにより離散トークンと連続状態表現の整合を図る

4. どうやって有効だと検証した?

合成グラフと実世界の Manhattan Taxi Ride データセットで実験。 - LSE-MTPが離散トークンと連続状態表現のギャップを効果的に橋渡しすることを示す - 表現アラインメントの向上、構造的ハルシネーションの低減、摂動への頑健性の改善を確認

5. 議論はある?

要旨からは不明。ただし、標準MTPの構造的ハルシネーション問題や、離散トークン監督と連続状態表現のギャップについて議論している可能性がある。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として Next-Token Prediction (NTP) や Multi-Token Prediction (MTP) が挙げられる。同分野の定番として、LLMの世界モデルに関する研究や、表現学習におけるアラインメント手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qimin Zhong, Hao Liao, Haiming Qin, Mingyang Zhou, Rui Mao, Wei Chen, Naipeng Chao

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

Whether Large Language Models (LLMs) develop coherent internal world models remains a core debate. While conventional Next-Token Prediction (NTP) focuses on one-step-ahead supervision, Multi-Token Prediction (MTP) has shown promise in learning more structured representations. In this work, we provide a theoretical perspective analyzing the gradient inductive bias of MTP, supported by empirical evidence, showing that MTP promotes the convergence toward internal belief states by inducing representational contractivity via gradient coupling. However, we reveal that standard MTP often suffers from structural hallucinations, where discrete token supervision encourages illegal shortcuts in latent space that violate environmental constraints. To address this, we propose a novel method Latent Semantic Enhancement MTP (LSE-MTP), which anchors predictions to ground-truth hidden state trajectories. Experiments on synthetic graphs and real-world Manhattan Taxi Ride show that LSE-MTP effectively bridges the gap between discrete tokens and continuous state representations, enhancing representation alignment, reducing structural hallucinations, and improving robustness to perturbations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI