非キュレーション�データで世界モデルを導く効率的強化学習
Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data
報酬なし・品質混在・複数身体性の未整理データを世界モデルの微調整に活用し、経験リハーサルと実行ガイダンスでオンライン強化学習のサンプル効率を大幅に改善した。
著者: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen
分類: cs.LG, cs.RO
原文アブストラクト
Leveraging offline data is a promising way to improve the sample efficiency of online reinforcement learning (RL). This paper expands the pool of usable data for offline-to-online RL by leveraging abundant non-curated data that is reward-free, of mixed quality, and collected across multiple embodiments. Although learning a world model appears promising for utilizing such data, we find that naive fine-tuning fails to accelerate RL training on many tasks. Through careful investigation, we attribute this failure to the distributional shift between offline and online data during fine-tuning. To address this issue and effectively use the offline data, we propose two techniques: \emph{i)} experience rehearsal and \emph{ii)} execution guidance. With these modifications, the non-curated offline data substantially improves RL's sample efficiency. Under limited sample budgets, our method achieves nearly twice the aggregate score of learning-from-scratch baselines across 72 visuomotor tasks spanning 6 embodiments. On challenging tasks such as locomotion and robotic manipulation, it outperforms prior methods that utilize offline data by a decent margin.
関連論文
- 世界モデルは政策ランキングの正確性に必ずしも正しさを要さない:相対的限界と監査の限界強化学習/世界モデル
- DiffDreamer: 世界モデルと微分可能シミュレーションを結合した俊敏なクアッドロータ制御強化学習/世界モデル
- CyberWorld: 自律型サイバー防御のためのサンプル効率の高い世界モデル強化学習/世界モデル
- 効率的な一次強化学習のための局所・大域世界モデルの結合強化学習/世界モデル
- 因果関係を考慮した強化学習のためのオブジェクト中心の世界モデル強化学習/世界モデル
- 注目を学ぶ:部分観測強化学習における構造的注意機構による情報履歴の優先強化学習/世界モデル
