敏捷な歩行獲得のための探索としての教師なしスキル発見

- 四足歩行ロボットが多様な障害物を越える agile locomotion を獲得するための学習フレームワーク SDAX (Skill Discovery as Exploration) を提案する研究。 - 人間による reward engineering、expert demonstrations、curriculum learning への依存を減らすことを狙う。 - unsupervised skill discovery を用いて、障害物を克服する多様な skill の repertoire を自律的に獲得させる。

- 従来は agile locomotion のための exploration を促すのに extensive reward engineering、expert demonstrations、curriculum learning に頼っており、generalizability が制限されていた。 - SDAX はこれらの人間の engineering effort を大幅に削減しつつ、unsupervised skill discovery により多様な skill を自律獲得する点が異なる。 - 具体的な先行手法との定量比較は要旨からは不明。

- 中核は unsupervised skill discovery を exploration として用いる点。 - 訓練中の exploration の度合いを動的に調整するため、bi-level optimization を採用し、exploration の程度を自律的に調整する。 - これにより crawling、climbing、leaping、垂直壁からの jump off などの複雑な maneuver を含む agile behavior の獲得を狙う。

- SDAX により quadrupedal robots が crawling、climbing、leaping、垂直壁からの jump off を含む複雑な maneuver を獲得できることを示した。 - 学習した policy を real hardware に deploy し、real world への transfer が成功したことを検証した。 - 定量的な評価指標や比較実験の詳細は要旨からは不明。

- exploration の度合いを bi-level optimization で自律調整する設計の妥当性や、実機 transfer の頑健性についての詳細な議論は要旨からは不明。 - reward engineering 等を減らせる一方、unsupervised skill discovery の汎化限界や実環境での安全性については要旨からは不明。

- 要旨で明示的に参照・比較されている研究はない。関連手法として unsupervised skill discovery、curriculum learning、expert demonstrations を用いた legged locomotion 研究、および quadrupedal robot の agile locomotion に関する定番研究を次に読む候補とする。