計画を用いた方策探索による連続領域での深層強化学習の探索改善
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
キノダイナミックプランナを探索戦略に組み込み、生成された環境との相互作用からオフラインで制御方策を学習するモデルベース強化学習手法PPSを提案し、従来の深層強化学習法より広い状態空間のデータを収集して優れた方策を発見できることを示した。
著者: Jakob J. Hollenstein, Erwan Renaudo, Matteo Saveriano, Justus Piater
分類: cs.LG, cs.RO
原文アブストラクト
Local policy search is performed by most Deep Reinforcement Learning (D-RL) methods, which increases the risk of getting trapped in a local minimum. Furthermore, the availability of a simulation model is not fully exploited in D-RL even in simulation-based training, which potentially decreases efficiency. To better exploit simulation models in policy search, we propose to integrate a kinodynamic planner in the exploration strategy and to learn a control policy in an offline fashion from the generated environment interactions. We call the resulting model-based reinforcement learning method PPS (Planning for Policy Search). We compare PPS with state-of-the-art D-RL methods in typical RL settings including underactuated systems. The comparison shows that PPS, guided by the kinodynamic planner, collects data from a wider region of the state space. This generates training data that helps PPS discover better policies.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考:世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット:行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
