球面上での連続スキルの教師なし発見
Unsupervised Discovery of Continuous Skills on a Sphere
スキルを球面上の連続値として表現し、相互情報量最大化により無限に多様なスキルを教師なしで獲得する手法DISCSを提案し、MuJoCo Antで従来法より多様な行動を学習できることを示した。
著者: Takahisa Imagawa, Takuya Hiraoka, Yoshimasa Tsuruoka
分類: cs.LG, cs.AI, cs.RO
原文アブストラクト
Recently, methods for learning diverse skills to generate various behaviors without external rewards have been actively studied as a form of unsupervised reinforcement learning. However, most of the existing methods learn a finite number of discrete skills, and thus the variety of behaviors that can be exhibited with the learned skills is limited. In this paper, we propose a novel method for learning potentially an infinite number of different skills, which is named discovery of continuous skills on a sphere (DISCS). In DISCS, skills are learned by maximizing mutual information between skills and states, and each skill corresponds to a continuous value on a sphere. Because the representations of skills in DISCS are continuous, infinitely diverse skills could be learned. We examine existing methods and DISCS in the MuJoCo Ant robot control environments and show that DISCS can learn much more diverse skills than the other methods.
関連論文
- SkiLD: 因子間相互作用に導かれた教師なしスキル発見教師なし強化学習
- METRA: 距離認識抽象化によるスケーラブルな教師なし強化学習教師なし強化学習
- EUCLID: マルチチョイス動力学モデルによる効率的な教師なし強化学習教師なし強化学習
- POLTER: 教師なし強化学習のための方策軌道アンサンブル正則化教師なし強化学習
- オフポリシー強化学習による実世界での多様なロボットスキルの創発教師なし強化学習
- 分布計画ネットワークによる教師なし視覚運動制御教師なし強化学習
