文脈を探れ:文脈条件付きダイナミクスモデルのための最適データ収集
Explore the Context: Optimal Data Collection for Context-Conditional Dynamics Models
パラメータ化された力学系の族に対し、潜在文脈変数で条件付けした確率的ダイナミクスモデルを学習し、文脈推定に最も情報量の多い遷移を選ぶ行動列で効率的に探索する手法を提案した。
著者: Jan Achterhold, Joerg Stueckler
分類: cs.LG, cs.RO, cs.SY, eess.SY, stat.ML
原文アブストラクト
In this paper, we learn dynamics models for parametrized families of dynamical systems with varying properties. The dynamics models are formulated as stochastic processes conditioned on a latent context variable which is inferred from observed transitions of the respective system. The probabilistic formulation allows us to compute an action sequence which, for a limited number of environment interactions, optimally explores the given system within the parametrized family. This is achieved by steering the system through transitions being most informative for the context variable. We demonstrate the effectiveness of our method for exploration on a non-linear toy-problem and two well-known reinforcement learning environments.
関連論文
- 潜在想像によるパラメータ化行動空間の学習モデルベースRL
- チャンク単位のモデルベース方策最適化モデルベースRL
- モデルベース強化学習における動力学変化下でのリプレイ保持の特性評価モデルベースRL
- モデルベース強化学習のための償却低ランク適応モデルベースRL
- 変化点対応ワールドモデル:動力学シフトの検出と古いリプレイの忘却による回復モデルベースRL
- RENEW: 選好から世界モデルの学習とモデル悪用の修復を目指してモデルベースRL
