日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2509.24527

スケーラブルな世界モデル内でのエージェント学習

Training Agents Inside of Scalable World Models

シェア:XThreadsFacebookLINEはてブBluesky

Dreamer 4は、高速で正確な世界モデル内で強化学習を行い、オフラインデータのみからMinecraftでダイヤモンドを獲得できる初のエージェントである。

詳しい要約

1. どんなもの?

- 動画から世界モデルを学習し、その想像(imagination)内で強化学習を行うスケーラブルなエージェント - 提案手法は Dreamer 4 - 複雑な video game である Minecraft を対象に、制御タスクを解く - 世界モデルは object interactions や game mechanics を高精度に予測 - 単一 GPU で real-time interactive inference を実現 - offline data のみから Minecraft で diamonds を取得する課題を提示・達成

2. 先行研究と比べてどこがすごい?

- 従来の world models は複雑環境での object interactions 予測が不正確だった - Dreamer 4 の世界モデルは Minecraft において previous world models を large margin で上回る - 単一 GPU での real-time interactive inference を実現 - 少量データから general action conditioning を学習し、大半の知識を unlabeled videos から抽出可能 - 環境との interaction なしに offline data のみで diamonds を取得した最初の agent

3. 技術・手法の肝は?

- 高速かつ正確な world model を構築し、その imagination 内で reinforcement learning により制御タスクを解く - world model は videos から一般的知識を学習 - shortcut forcing objective と efficient transformer architecture により real-time interactive inference を実現 - 少量データで general action conditioning を学習し、多様な unlabeled videos から知識を抽出 - 20,000 を超える mouse and keyboard actions の系列選択を raw pixels から学習

4. どうやって有効だと検証した?

- Minecraft において world model の object interactions と game mechanics の予測精度を previous world models と比較し、large margin で上回ることを示した - 単一 GPU での real-time interactive inference を実証 - offline data のみから diamonds を取得する課題を設定し、Dreamer 4 が環境 interaction なしに達成した最初の agent であることを示した - 詳細な評価指標や実験設定は要旨からは不明

5. 議論はある?

- offline data のみからの学習は、environment interaction が unsafe で slow な robotics などの実応用と整合する課題として位置づけ - imagination training のスケーラブルな recipe を提供し、intelligent agents への一歩と主張 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 本論文で比較対象とされる previous world models(具体的名称は要旨からは不明) - Dreamer シリーズの先行研究(Dreamer, DreamerV2, DreamerV3 など) - Minecraft を対象とした agent 研究(例: MineDojo, VPT など) - world models を用いた imagination training に関する関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Danijar Hafner, Wilson Yan, Timothy Lillicrap

分類: cs.AI, cs.LG, cs.RO, stat.ML

原文アブストラクト

World models learn general knowledge from videos and simulate experience for training behaviors in imagination, offering a path towards intelligent agents. However, previous world models have been unable to accurately predict object interactions in complex environments. We introduce Dreamer 4, a scalable agent that learns to solve control tasks by reinforcement learning inside of a fast and accurate world model. In the complex video game Minecraft, the world model accurately predicts object interactions and game mechanics, outperforming previous world models by a large margin. The world model achieves real-time interactive inference on a single GPU through a shortcut forcing objective and an efficient transformer architecture. Moreover, the world model learns general action conditioning from only a small amount of data, allowing it to extract the majority of its knowledge from diverse unlabeled videos. We propose the challenge of obtaining diamonds in Minecraft from only offline data, aligning with practical applications such as robotics where learning from environment interaction can be unsafe and slow. This task requires choosing sequences of over 20,000 mouse and keyboard actions from raw pixels. By learning behaviors in imagination, Dreamer 4 is the first agent to obtain diamonds in Minecraft purely from offline data, without environment interaction. Our work provides a scalable recipe for imagination training, marking a step towards intelligent agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI