HoRD: 履歴条件付き強化学習とオンライン蒸留によるロバストなヒューマノイド制御

- ヒューマノイドロボットの制御を対象とした二段階学習フレームワーク HoRD を提案。 - 第一段階で history-conditioned reinforcement learning により高性能な teacher policy を訓練。 - 第二段階で online distillation により transformer-based student policy へ転移。 - student は sparse な root-relative 3D joint keypoint trajectories のみを入力とする。 - 単一の policy で unseen domains へ zero-shot 適応でき、per-domain retraining が不要。

- 従来は dynamics・task specifications・environment setup の小さな変化で性能が大きく低下。 - HoRD は history-conditioned adaptation と online distillation を組み合わせ、単一 policy で unseen domains に zero-shot 適応。 - 強い baselines と比較して robustness と transfer で優位、特に unseen domains と external perturbations 下で顕著。 - per-domain retraining を必要としない点が先行研究との差分。

- 第一段階: history-conditioned reinforcement learning で teacher policy を訓練。 - teacher は recent state-action trajectories から latent dynamics context を推論し、多様な randomized dynamics に online 適応。 - 第二段階: online distillation で teacher の robust control 能力を student へ転移。 - student は transformer-based policy で、sparse な root-relative 3D joint keypoint trajectories を入力とする。 - これら二段階の組み合わせが肝。

- Extensive experiments を実施。 - 強い baselines と比較し、robustness と transfer で HoRD が優位であることを示す。 - 特に unseen domains と external perturbations 下での性能を検証。 - 具体的なタスク・指標・データセットは要旨からは不明。

- 要旨からは不明。 - 想定される論点として、teacher から student への distillation 時の情報損失、sparse keypoint 入力の限界、external perturbations の種類や範囲などが考えられるが、要旨には明記されていない。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として history-conditioned reinforcement learning、online distillation、transformer-based policy、humanoid locomotion の robust control に関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。