嗜好オラクル誘導マルチモード方策による動的二足歩行ロコマニピュレーション
Preferenced Oracle Guided Multi-mode Policies for Dynamic Bipedal Loco-Manipulation
ハイブリッドオートマトンをオラクルとして用い、嗜好報酬でモード遷移列を誘導することで、サッカーや箱移動などの動的全身ロコマニピュレーションを単一方策で学習する手法を提案。
著者: Prashanth Ravichandar, Lokesh Krishna, Nikhil Sobanbabu, Quan Nguyen
分類: cs.RO
原文アブストラクト
Dynamic loco-manipulation calls for effective whole-body control and contact-rich interactions with the object and the environment. Existing learning-based control synthesis relies on training low-level skill policies and explicitly switching with a high-level policy or a hand-designed finite state machine, leading to quasi-static behaviors. In contrast, dynamic tasks such as soccer require the robot to run towards the ball, decelerate to an optimal approach to dribble, and eventually kick a goal - a continuum of smooth motion. To this end, we propose Preferenced Oracle Guided Multi-mode Policies (OGMP) to learn a single policy mastering all the required modes and preferred sequence of transitions to solve uni-object loco-manipulation tasks. We design hybrid automatons as oracles to generate references with continuous dynamics and discrete mode jumps to perform a guided policy optimization through bounded exploration. To enforce learning a desired sequence of mode transitions, we present a task-agnostic preference reward that enhances performance. The proposed approach demonstrates successful loco-manipulation for tasks like soccer and moving boxes omnidirectionally through whole-body control. In soccer, a single policy learns to optimally reach the ball, transition to contact-rich dribbling, and execute successful goal kicks and ball stops. Leveraging the oracle's abstraction, we solve each loco-manipulation task on robots with varying morphologies, including HECTOR V1, Berkeley Humanoid, Unitree G1, and H1, using the same reward definition and weights.
関連論文
- 四足ロボットのラストマイル把持ナビゲーションのための統合方策学習モデルロコマニピュレーション
- 凍結した歩行ポリシー下での異種歩行ダイナミクスのオンライン学習による高精度ロコマニピュレーションロコマニピュレーション
- フェーズ条件付き方策最適化による多段階ロコマニピュレーションの学習ロコマニピュレーション
- ヒューマノイドの地平線:並列訓練・動的開始・報酬ゲーティングによる全身ロコマニピュレーションのタスク時間拡張ロコマニピュレーション
- HULK: ヒューマノイドの全身力強いロコマニピュレーション学習ロコマニピュレーション
- 接触を決定変数とする:脚式ロコマニピュレーションのための能力トレードオフ接触選択ロコマニピュレーション
