TD-MPC2：連続制御のためのスケーラブルで堅牢な世界モデル
TD-MPC2: Scalable, Robust World Models for Continuous Control
学習した潜在世界モデル上で軌道最適化を行うモデルベース強化学習TD-MPCを改良し、104タスクで高性能かつ単一のハイパーパラメータで動作、317Mパラメータの単一エージェントで80タスクをこなせることを示した。
著者: Nicklas Hansen, Hao Su, Xiaolong Wang
分類: cs.LG, cs.AI, cs.CV, cs.RO
原文アブストラクト
TD-MPC is a model-based reinforcement learning (RL) algorithm that performs local trajectory optimization in the latent space of a learned implicit (decoder-free) world model. In this work, we present TD-MPC2: a series of improvements upon the TD-MPC algorithm. We demonstrate that TD-MPC2 improves significantly over baselines across 104 online RL tasks spanning 4 diverse task domains, achieving consistently strong results with a single set of hyperparameters. We further show that agent capabilities increase with model and data size, and successfully train a single 317M parameter agent to perform 80 tasks across multiple task domains, embodiments, and action spaces. We conclude with an account of lessons, opportunities, and risks associated with large TD-MPC2 agents. Explore videos, models, data, code, and more at https://tdmpc2.com
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考：世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット：行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
