CoorDex: 身体と手の事前知識を統合した連続的器用な人型ロコ操作

- 人間型ロボットの loco-manipulation を、歩行→停止→操作→再歩行の stop-and-go ではなく、移動しながら高 DoF の dexterous hand で操作する連続的タスクとして扱う学習パイプライン CoorDex を提案。 - Unitree G1 humanoid と 20-DoF WUJI hand を用い、移動中の非停止ボトル把持・運搬、移動中の冷蔵庫扉開け、cube pick-and-turn を実現。 - 身体と手の高次元制御を coordinated latent residual control に変換する。

- 従来の humanoid loco-manipulation は stop-and-go で、低 DoF の開閉型 end effector に依存することが多かった。 - CoorDex は高 DoF の dexterous hand と身体を協調させ、移動しながらの接触リッチな操作を可能にする。 - 同じ reward budget 下で joint-space PPO、joint-space hand control、monolithic latent prediction が失敗する一方、latent-prior interface と coordinated residual structure で学習可能になる点を示す。

- シミュレーション上の whole-body と hand の demonstration から、身体用と dexterous hand 用の privileged motion tracking teacher をそれぞれ訓練。 - それらを proprioception-conditioned latent prior に distill し、凍結した prior を下流の residual reinforcement learning の action space として使う。 - coordinated latent residual policy が shared task context と separate body-hand residual heads を通じて prior を合成し、自然な全身運動を保ちつつ指先接触の信頼性を高める。

- Unitree G1 humanoid と 20-DoF WUJI hand で、移動中の非停止ボトル把持・運搬、移動中の冷蔵庫扉開け、cube pick-and-turn を実行。 - walk-grasp-carry タスクでの ablation により、joint-space PPO、joint-space hand control、monolithic latent prediction が同一 reward budget で失敗することを確認。 - latent-prior interface と coordinated residual structure の有効性を示す。

- 要旨からは不明。 - ただし ablation の結果から、高次元接触リッチ loco-manipulation の学習には latent-prior interface と coordinated residual structure が重要であると議論していると読める。

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として、joint-space PPO、joint-space hand control、monolithic latent prediction が ablation で挙げられている。 - 同分野の定番として、humanoid loco-manipulation、dexterous manipulation、residual reinforcement learning、privileged motion tracking、latent prior distillation に関する研究を読むとよい。