大規模マルチタスク世界モデルによる連続制御の学習
Learning Massively Multitask World Models for Continuous Control
200の多様なタスクで言語条件付き世界モデルを事前学習し、オンライン強化学習で微調整することで、マルチタスク性能とデータ効率を向上させた研究。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Nicklas Hansen, Hao Su, Xiaolong Wang
分類: cs.LG, cs.CV, cs.RO
原文アブストラクト
General-purpose control demands agents that act across many tasks and embodiments, yet research on reinforcement learning (RL) for continuous control remains dominated by single-task or offline regimes, reinforcing a view that online RL does not scale. Inspired by the foundation model recipe (large-scale pretraining followed by light RL) we ask whether a single agent can be trained on hundreds of tasks with online interaction. To accelerate research in this direction, we introduce a new benchmark with 200 diverse tasks spanning many domains and embodiments, each with language instructions, demonstrations, and optionally image observations. We then present \emph{Newt}, a language-conditioned multitask world model that is first pretrained on demonstrations to acquire task-aware representations and action priors, and then jointly optimized with online interaction across all tasks. Experiments show that Newt yields better multitask performance and data-efficiency than a set of strong baselines, exhibits strong open-loop control, and enables rapid adaptation to unseen tasks. We release our environments, demonstrations, code for training and evaluation, as well as 200+ checkpoints.
関連論文
- T3S: タスク固有特徴セレクタとスケジューラによるマルチタスク強化学習の改善マルチタスク強化学習
- 時間的に拡張された行動共有によるマルチタスク強化学習マルチタスク強化学習
- クロスタスク方策ガイダンスによる効率的なマルチタスク強化学習マルチタスク強化学習
- ロボティクス向け大規模並列マルチタスク強化学習のベンチマークマルチタスク強化学習
- 大きく、正則化し、カテゴリカルに:高容量価値関数は効率的なマルチタスク学習者マルチタスク強化学習
- モデルベース強化学習エージェントにおける効率的なマルチタスク学習のための知識転移マルチタスク強化学習
