非対称報酬下でのモデルベース強化学習におけるダイナミクス対称性の活用
Exploiting Symmetry in Dynamics for Model-Based Reinforcement Learning with Asymmetric Rewards
ダイナミクスのみが対称性を持ち報酬は持たない場合に、カルタンの動標構法を用いて対称性を満たすダイナミクスモデルを学習する手法を提案し、モデル精度の向上を示した。
著者: Yasin Sonmez, Neelay Junnarkar, Murat Arcak
分類: cs.LG, cs.AI, cs.RO, cs.SY, eess.SY
原文アブストラクト
Recent work in reinforcement learning has leveraged symmetries in the model to improve sample efficiency in training a policy. A commonly used simplifying assumption is that the dynamics and reward both exhibit the same symmetry; however, in many real-world environments, the dynamical model exhibits symmetry independent of the reward model. In this paper, we assume only the dynamics exhibit symmetry, extending the scope of problems in reinforcement learning and learning in control theory to which symmetry techniques can be applied. We use Cartan's moving frame method to introduce a technique for learning dynamics that, by construction, exhibit specified symmetries. Numerical experiments demonstrate that the proposed method learns a more accurate dynamical model
関連論文
- テスト時モデルベース強化学習による世界モデルへの記憶の符号化モデルベース強化学習
- 再考:世界モデルにおける比較的想像を通じた探索と計画モデルベース強化学習
- アクションジェット:行動条件付きデータ多様体の局所形状の学習モデルベース強化学習
- 未モデル状態依存性下での学習クリティックによる最適制御モデルベース強化学習
- VIGOR: モデルベース強化学習における潜在空間一貫性によるゼロショット視覚汎化モデルベース強化学習
- 行動なし時系列からの動的埋め込みによる転移可能な方策学習モデルベース強化学習
