日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.13113

内発的動機から世界モデルを構築する

Building World Models from Intrinsic Motivation

シェア:XThreadsFacebookLINEはてブBluesky

好奇心・エントロピー・有能感など24種の内発的動機を共通のモデルベース強化学習枠組みに統合し、それらが構築する世界モデルを移動・操作・ゲーム環境でのゼロショット/少数ショット/マルチタスク制御で評価した研究。

詳しい要約

1. どんなもの?

- 外部報酬やタスク監督がない状況での intrinsic motivation が、汎化・適応可能な world model 構築にどう寄与するかを調べる研究。 - 24 種類の intrinsic objectives(curiosity, entropy, competency 系の既存手法と明示的変種)を共通の model-based reinforcement learning フレームワークに統合。 - locomotion, manipulation, open-ended gaming 環境で zero-shot, few-shot, multi-task control を評価。 - representation learning として observation reconstruction, latent prediction, redundancy reduction の3戦略を比較。

2. 先行研究と比べてどこがすごい?

- 既存研究は幅広い intrinsic motivation と world-model representation learning の相互作用を未解明のまま残していた。 - 本研究は24の intrinsic objectives を同一フレームワークで横断比較し、どの経験が再利用可能なモデルを作るかを体系的に検討。 - world model を intrinsic motivation の経験品質を測る道具として位置づけ、両者を共同設計すべきという知見を示す点が新しい。

3. 技術・手法の肝は?

- 24 の intrinsic objectives を model-based reinforcement learning の共通枠組みに統合。 - world model の representation learning に observation reconstruction, latent prediction, redundancy reduction の3戦略を適用。 - episodic novelty と lifelong novelty の両方に由来する intrinsic motivation を、world model の汎用 recurrent state への補完的記憶として組み込む設計を検討。 - 下流の zero-shot, few-shot, multi-task control 性能で world model を評価。

4. どうやって有効だと検証した?

- locomotion, manipulation, open-ended gaming の各環境で zero-shot, few-shot, multi-task control を実施。 - 24 objectives と3 representation strategies の組み合わせを比較し、集約プロファイルを評価。 - compositional vision-based タスクでは episodic と lifelong novelty の併用が最良の zero-shot transfer と few-shot adaptation を示すと報告。 - 最良の個別ペアリングは実験依存であることも確認。

5. 議論はある?

- curiosity-driven exploration と observation reconstruction の組合せが集約的に最強の family profile だが、最良の個別ペアリングは実験依存。 - compositional vision-based タスクでは episodic と lifelong novelty の併用が有効で、world model の recurrent state を補完する記憶の役割を示唆。 - intrinsic motivation と representation learning を共同設計する必要性を議論。 - 限界や詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている curiosity, entropy, competency 系の intrinsic motivation 研究。 - observation reconstruction, latent prediction, redundancy reduction の representation learning 研究。 - episodic novelty と lifelong novelty に関する研究。 - model-based reinforcement learning および world model の定番手法(一般名)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Reece Keller, Declan Kutscher, Xaq Pitkow, Aran Nayebi

分類: cs.AI, cs.LG

原文アブストラクト

In the absence of extrinsic rewards or task supervision, human behavior is guided by intrinsic motivation---neural signals that drive curiosity, creativity, play, and other essential facets of intelligence. Intrinsic motivation plays an important developmental role in building robust world models that enable generalization and adaptation. Yet existing studies leave open how a broad range of intrinsic motivations interacts with world-model representation learning to support downstream control. This limits our understanding of which intrinsically collected experiences build reusable models. To address these gaps, we integrate 24 intrinsic objectives, including established methods and explicit variants spanning curiosity, entropy, and competency, into a common model-based reinforcement learning framework. We evaluate the world models they build through zero-shot, few-shot, and multi-task control in locomotion, manipulation, and open-ended gaming environments, using three representation-learning strategies: observation reconstruction, latent prediction, and redundancy reduction. Curiosity-driven exploration with observation reconstruction yields the strongest aggregate family profile, although the best individual pairing depends on the experiment. In compositional vision-based tasks, intrinsic motivation derived from both episodic and lifelong novelty---providing a complementary memory to the world model's generic recurrent state---achieves the best zero-shot transfer and few-shot adaptation. These findings motivate designing intrinsic motivation and representation learning jointly. Our results demonstrate world models as a powerful tool for measuring the quality of intrinsically motivated experience, and positions intrinsic motivation as a key ingredient for building world models autonomously.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI