楽観的ワールドモデル：モデルベース深層強化学習における効率的探索
Optimistic World Models: Efficient Exploration in Model-Based Deep Reinforcement Learning
モデル学習に楽観的なダイナミクス損失を組み込み、報酬の高い遷移を優先する探索手法を提案。DreamerV3やSTORMに適用し、サンプル効率と累積報酬を改善。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Akshay Mete, Shahid Aamir Sheikh, Tzu-Hsiang Lin, Dileep Kalathil, P. R. Kumar
分類: cs.LG, cs.AI, eess.SY
原文アブストラクト
Efficient exploration remains a central challenge in reinforcement learning (RL), particularly in sparse-reward environments. We introduce Optimistic World Models (OWMs), a principled and scalable framework for optimistic exploration that brings classical reward-biased maximum likelihood estimation (RBMLE) from adaptive control into deep RL. In contrast to upper confidence bound (UCB)-style exploration methods, OWMs incorporate optimism directly into model learning by augmentation with an optimistic dynamics loss that biases imagined transitions toward higher-reward outcomes. This fully gradient-based loss requires neither uncertainty estimates nor constrained optimization. Our approach is plug-and-play with existing world model frameworks, preserving scalability while requiring only minimal modifications to standard training procedures. We instantiate OWMs within two state-of-the-art world model architectures, leading to Optimistic DreamerV3 and Optimistic STORM, which demonstrate significant improvements in sample efficiency and cumulative return compared to their baseline counterparts.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考：世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット：行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
