人間の運動予測モデルを模倣した深層感覚運動制御

- 人間とロボットの embodiment gap が縮小する中、人間の motion データをロボット学習に活用する新手法を提案。 - reinforcement learning により sensorimotor policy を訓練する際、人間の motion を予測する predictive model を模倣(imitate)する。 - 人間の身体 keypoints と human-inspired robot end-effectors の keypoints の動きが対応する点を利用。 - 人間データで学習した future motion 予測モデルを robot データに zero-shot 適用する。

- 既存手法は gradient-based kinematic retargeting や adversarial loss に依存し、大規模 human-scene interaction データセットの規模・多様性を活かしきれない。 - 提案手法はこれらを完全に回避(entirely bypass)する点が新しい。 - 複数の robot と task にわたり既存 baseline を large margin で上回る。 - 人間 motion model の tracking が、manipulation における丁寧な dense reward や curricula の代替になり得ることを示す。

- 人間の身体 keypoints の動きが human-inspired robot end-effectors の keypoints の動きと密接に対応するという洞察を核とする。 - 人間データで future motion を予測するモデルを訓練し、それを robot データに zero-shot で適用。 - sensorimotor policy は、過去の robot state 履歴を条件として、その予測を track するよう学習。 - 最適化は比較的 sparse な task reward を用いる。 - gradient-based kinematic retargeting と adversarial loss を不要にする。

- 複数の robot と task にわたり実験し、既存 baseline と比較して large margin で優位であることを確認。 - manipulation task において、human motion model の tracking が dense reward や curricula の代替となり得ることを検証。 - code・data・qualitative results を公開(https://jirl-upenn.github.io/track_reward/)。 - 具体的な評価指標・データセット名は要旨からは不明。

- 人間とロボットの embodiment gap が狭まることを前提とした手法であり、その限界や適用範囲は要旨からは不明。 - zero-shot で human motion model を robot に適用する際の誤差や汎化性についての議論は要旨からは不明。 - sparse reward 下での学習安定性や、dense reward・curricula 代替の一般性については要旨からは不明。

- 要旨で直接参照/比較されている既存手法: gradient-based kinematic retargeting、adversarial loss を用いる手法。 - 関連する基盤として human-scene interaction datasets、human motion prediction models。 - 同分野の定番として reinforcement learning による sensorimotor policy 学習、imitation learning、motion retargeting に関する文献。