マルチタスクRL/世界モデル2026/2/1arXiv:2602.01270

世界モデルの混合：モジュール型潜在ダイナミクスによるマルチタスク強化学習のスケーリング

Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics

タスクごとにモジュール化したVAEと専門家混合型Transformerで世界モデルを構成し、Atari 100kとMeta-Worldで高効率・高性能なマルチタスク強化学習を実現した。

詳しい要約

1. どんなもの？

- 複数タスクの visual RL における sample efficiency を高めるための world model アーキテクチャ。 - 名前は Mixture-of-World Models (MoW)。 - 構成要素は modular VAE、hybrid Transformer dynamics、gradient-based task clustering。 - 単一エージェントを 26 個の Atari ゲームで一度だけ学習。 - Meta-World でも評価。

2. 先行研究と比べてどこがすごい？

- 従来の monolithic world model は多様な task dynamics を捉えにくく、再構成・予測精度が低い。 - MoW は modular な設計で異種タスクに対応。 - Atari 100k で 26 ゲーム平均 human-normalized score 110.4%。 - 26 個の task-specific model の ensemble である STORM の 114.2% に匹敵。 - パラメータ数は STORM より 50% 少ない。 - Meta-World では 300k steps で平均成功率 74.5% を達成し SOTA。

3. 技術・手法の肝は？

- task-adaptive visual compression のための modular variational autoencoders。 - task-conditioned experts と shared backbone を組み合わせた hybrid Transformer-based dynamics model。 - 効率的な parameter allocation のための gradient-based task clustering。 - これらを統合し、単一エージェントで複数タスクを扱う。

4. どうやって有効だと検証した？

- Atari 100k benchmark で 26 ゲームを対象に評価。 - 単一 MoW agent を一度学習し、平均 human-normalized score 110.4% を記録。 - STORM の 114.2% と比較し、50% 少ないパラメータで競合。 - Meta-World で 300 thousand environment steps 以内に平均成功率 74.5% を達成。 - これにより新たな state of the art を確立。

5. 議論はある？

- 要旨からは、限界や失敗事例、計算コスト、スケーラビリティの詳細な議論は不明。 - 主張は sample efficiency と parameter efficiency の両立。 - 単一エージェントで多タスクを扱う generalist world model の基盤として位置づけ。

6. 次に読むべき論文は？

- STORM: 26 個の task-specific model の ensemble として比較対象。 - Atari 100k benchmark 関連の world model 研究。 - Meta-World 関連の multi-task RL 研究。 - modular VAE や Transformer-based dynamics を用いた model-based RL 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boxuan Zhang, Weipu Zhang, Zhaohan Feng, Wei Xiao, Jian Sun, Jie Chen, Gang Wang

分類: cs.LG

原文アブストラクト

A fundamental challenge in multi-task reinforcement learning (MTRL) is achieving sample efficiency in visual domains where tasks exhibit substantial heterogeneity in both observations and dynamics. Model-based reinforcement learning offers a promising path to improved sample efficiency through world models, but standard monolithic architectures struggle to capture diverse task dynamics, resulting in poor reconstruction and prediction accuracy. We introduce Mixture-of-World Models (MoW), a scalable architecture that combines modular variational autoencoders for task-adaptive visual compression, a hybrid Transformer-based dynamics model with task-conditioned experts and a shared backbone, and a gradient-based task clustering strategy for efficient parameter allocation. On the Atari 100k benchmark, a single MoW agent trained once on 26 Atari games achieves a mean human-normalized score of 110.4%, competitive with the score of 114.2% achieved by STORM, an ensemble of 26 task-specific models, while using 50% fewer parameters. On Meta-World, MoW achieves a 74.5% average success rate within 300 thousand environment steps, establishing a new state of the art. These results demonstrate that MoW provides a scalable and parameter-efficient foundation for generalist world models.

arXivで原文を読む →arXiv概要ページ

← 論文一覧