不確実性に注意:リスク認識と能動的探索を備えたモデルベース強化学習
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
確率的な安全制約を考慮し、アンサンブルニューラルネットワークの認識的不確実性と偶発的不確実性を分離して楽観性と悲観性のバランスを取る、モデルベース強化学習の手法を提案。
著者: Marin Vlastelica, Sebastian Blaes, Cristina Pineri, Georg Martius
分類: cs.LG, cs.AI, cs.RO
原文アブストラクト
We introduce a simple but effective method for managing risk in model-based reinforcement learning with trajectory sampling that involves probabilistic safety constraints and balancing of optimism in the face of epistemic uncertainty and pessimism in the face of aleatoric uncertainty of an ensemble of stochastic neural networks.Various experiments indicate that the separation of uncertainties is essential to performing well with data-driven MPC approaches in uncertain and safety-critical control environments.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考:世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット:行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
