参照動作を事前分布として活用するマルチタスク強化学習による汎用人型ロコモーション

本論文は、humanoidのagileな挙動をhuman motionから学習するための統合的なmulti-task RLフレームワークを提案する。reference motionをdeployment時の制約ではなくbehavioral shapingのpriorとして扱い、単一のgoal-conditioned policyを2つのタスクでjointlyに訓練する。1つはreference-guided imitation taskで、reference trajectoryがdense imitation rewardを定義するがpolicy入力にはならない。もう1つはgoal-conditioned generalization taskで、goalはreferenceと独立にサンプリングされ、rewardはtask successのみを反映する。これにより、dense reference supervisionから構造化されたhuman-like motor skillsを獲得しつつ、novel goalsやinitial conditionsへ適応する。

既存手法には持続的なtrade-offがあった。reference-tracking policyはdemonstration dataset外でbrittleになりやすく、純粋なtask-driven RLは適応性を得る代わりにmotion qualityが犠牲になる。本手法はreference motionをpriorとしてbehavioral shapingに用いることで、このギャップを橋渡しする。adversarial objectives、explicit trajectory tracking、phase variables、reference-dependent inferenceを必要とせずに、reference distributionを超えて転移しつつmotion naturalnessを保つ点がすごい。

技術の肝は、同一のobservation/action spaceを共有しつつ、initialization schemes、command spaces、reward structuresが異なる2つのタスクを単一のgoal-conditioned policyでjointlyに訓練する点。reference-guided imitation taskではreference trajectoryがdense imitation rewardを定義するがpolicy入力にはしない。goal-conditioned generalization taskではgoalをreferenceと独立にサンプリングし、rewardはtask successのみを反映する。これらの目的をshared formulation内でco-optimizeすることで、dense reference supervisionからstructured human-like motor skillsを獲得し、novel goals/initial conditionsへ適応する。

box-based parkour playgroundで評価した。これはjumpingやclimbingなど多様なathletic behaviorsを要求する挑戦的な環境である。学習されたcontrollerがreference distributionを超えて転移しつつmotion naturalnessを保つことを示した。さらに、複数の学習済みskillをcomposeすることでlong-horizon behavior generationを実証し、複雑なシナリオでのflexibilityを示した。

要旨からは不明。

要旨で参照/比較されている研究は明示されていない。関連手法として、reference-tracking policies、task-driven RL、adversarial objectivesを用いる手法、phase variablesを用いる手法、reference-dependent inferenceを用いる手法が挙げられる。同分野の定番としては、humanoid locomotionやparkourに関するRL研究、imitation learning、goal-conditioned RLの文献が次に読むべき候補となる。