価値総和:MPCベースのモデルベース強化学習のための新たなスコアリング関数
Value Summation: A Novel Scoring Function for MPC-based Model-based Reinforcement Learning
MPCベースのモデルベース強化学習において、報酬関数の代わりに割引価値の総和で軌道を評価する新手法を提案し、MuJoCoやCassieロボットの歩行学習で学習効率と報酬を改善した。
著者: Mehran Raisi, Amirhossein Noohian, Luc Mccutcheon, Saber Fallah
分類: cs.LG, cs.RO
原文アブストラクト
This paper proposes a novel scoring function for the planning module of MPC-based reinforcement learning methods to address the inherent bias of using the reward function to score trajectories. The proposed method enhances the learning efficiency of existing MPC-based MBRL methods using the discounted sum of values. The method utilizes optimal trajectories to guide policy learning and updates its state-action value function based on real-world and augmented onboard data. The learning efficiency of the proposed method is evaluated in selected MuJoCo Gym environments as well as in learning locomotion skills for a simulated model of the Cassie robot. The results demonstrate that the proposed method outperforms the current state-of-the-art algorithms in terms of learning efficiency and average reward return.
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考:世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット:行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
