すべてのモデルは誤り、どこが誤りかを知ることが有用：強化学習におけるモデル不確実性について
All Models are Wrong, Knowing Where is Useful: On Model Uncertainty in Reinforcement Learning
モデルベース強化学習におけるモデルの不正確さを扱う枠組みを提案し、不確実性を適切に扱うことでモデルの悪用を防ぎ、ハードウェア上での直接学習や安全な探索の成功を示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Bernd Frauenknecht, Devdutt Subhasish, Artur Eisele, Friedrich Solowjow, Sebastian Trimpe
分類: cs.LG, eess.SY
原文アブストラクト
Model-based reinforcement learning (MBRL) infers information about the environment from a learned dynamics model and bears the potential to address open problems such as data efficient and safe learning in robotics. However, inaccuracies of the learned dynamics model are typically exploited by the agent, substantially hampering the capabilities of MBRL methods. We present a framework for dealing with inaccuracies of probabilistic models through targeted handling of uncertainty that effectively mitigates model exploitation. We present recent successes in learning directly on hardware and safe exploration, and discuss future directions for uncertainty-aware MBRL.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考：世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット：行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
