日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2605.16457

ワールドモデルのための識別可能なトークン対応付け

Identifiable Token Correspondence for World Models

シェア:XThreadsFacebookLINEはてブBluesky

トークンベースのトランスフォーマーワールドモデルにおける長期的な時間的不整合(物体の重複や消失など)を解決するため、次フレーム予測を構造化割り当て問題として定式化し、各トークンを前フレームからのコピーか新規生成かで対応付ける復号ステップを提案した。

詳しい要約

1. どんなもの?

- token-based transformer world model の次フレーム予測に、token の時間的対応を導入する decoding step「Identifiable Token Correspondence (ITC)」を提案。 - 次フレームの各 token を、前フレームからの copy か新規生成かの構造的 assignment 問題として定式化。 - transformer の architecture と training procedure は変更せず、既存 backbone に追加可能。 - 4 つの challenging benchmarks で state-of-the-art を達成。 - Craftax-classic で return 72.5%、score 35.6% を記録。

2. 先行研究と比べてどこがすごい?

- 既存手法は次フレーム予測を純粋な token generation 問題として扱い、token の時間的 persistence を考慮しない。 - そのため long-horizon rollouts で object duplication, disappearance, transmutation などの temporal inconsistency が生じる。 - ITC は latent token correspondence variables を導入し、copy か generate かの構造的 assignment として扱う点が異なる。 - Craftax-classic で return 72.5%、score 35.6% を達成し、従来最高の 67.4%、27.9% を大きく上回る。 - 4 つの challenging benchmarks で state-of-the-art を達成。

3. 技術・手法の肝は?

- 次フレーム予測を structured assignment problem として定式化。 - latent token correspondence variables を導入し、各 next-frame token を前フレームからの copy か新規生成かで説明。 - transformer architecture と training procedure は変更しない。 - 既存 backbone の上に decoding step として追加可能。 - これにより token の時間的 persistence を考慮した予測を実現。

4. どうやって有効だと検証した?

- 4 つの challenging benchmarks で実験を実施。 - Craftax-classic benchmark で return 72.5%、score 35.6% を達成。 - 従来最高の return 67.4%、score 27.9% を有意に上回る。 - 4 つの benchmarks で state-of-the-art 性能を確認。 - ソースコードを https://github.com/snu-mllab/Identifiable-Token-Correspondence で公開。

5. 議論はある?

- 要旨からは不明。 - ただし、long-horizon rollouts における object duplication, disappearance, transmutation の temporal inconsistency が動機として述べられている。 - ITC がこれらの問題をどの程度緩和するかの定量的分析は要旨からは不明。 - 限界や失敗ケース、計算コストへの言及は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 従来最高性能の手法(Craftax-classic で return 67.4%、score 27.9% を達成したもの)が挙げられているが、具体的な論文名は要旨からは不明。 - 関連手法: token-based transformer world models、visual reinforcement learning、next-frame prediction を token generation として扱う既存アプローチ。 - 同分野の定番: Dreamer、IRIS、TransDreamer などが関連する可能性があるが、要旨では明示されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youngin Kim, Ray Sun, Inho Kim, Bumsoo Park, Hyun Oh Song

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Token-based transformer world models have shown strong performance in visual reinforcement learning, but often suffer from temporal inconsistency in long-horizon rollouts, including object duplication, disappearance, and transmutation. A key reason is that most existing approaches treat next-frame prediction purely as a token generation problem, without considering the persistence of tokens across time. We introduce Identifiable Token Correspondence (ITC), a decoding step for token-based transformer world models that formulates next-frame prediction as a structured assignment problem with latent token correspondence variables: each next-frame token is explained either by copying a token from the previous frame or by generating a new one. ITC leaves the transformer architecture and training procedure unchanged and can be added on top of existing backbones. Our experiments show state-of-the-art performance on 4 challenging benchmarks. The proposed method achieves a return of 72.5% and a score of 35.6% on the Craftax-classic benchmark, significantly surpassing the previous best of 67.4% and 27.9%. We release our source code on https://github.com/snu-mllab/Identifiable-Token-Correspondence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI