MotionWAM: 実時間ヒューマノイド移動操作のための基盤ワールドアクションモデル

- 本論文は、実時間で自律的なヒューマノイドのloco-manipulationを実現するWorld Action Model (WAM)であるMotionWAMを提案する。 - 単一のegocentric cameraからの入力に基づき、video world modelの中間denoising featuresをpolicyの条件として用いる。 - 従来のupper-lower分割型階層制御を廃し、unified motion latentとwhole-body motion tokensにより、locomotion、torso motion、height regulation、foot interaction、hand manipulationを単一のaction spaceで統合的に予測する。 - 3段階の学習フレームワークにより、video world modelをegocentric visual dynamicsと対象ヒューマノイドembodimentに適応させる。 - Unitree G1を用いた9つの実世界タスクで評価され、実時間動作と高い成功率を示す。

- 従来のWAMはvideo dynamics priorをpolicyに結合し卓上manipulationで成果を上げたが、高次元video-action latentsの反復denoisingにより実時間ヒューマノイドloco-manipulationには遅すぎた。 - 支配的な階層型パラダイムでは、高レベルmanipulation policyが上半身のみを制御し、低レベルcontrollerが粗いbase commandsを追従するため、上下半身のaction spaceが不一致で、脚はバランス維持のlocomotionに限定されていた。 - MotionWAMはこれらを置き換え、unified motion latentとwhole-body motion tokensにより、単一action spaceで全身運動を統合的に予測する。 - 同一demonstrationsでfine-tuneしたVision-Language-Action (VLA) baselinesと比較して、overall success rateで30%以上上回る。 - また、decoupled up…

- video world modelの中間denoising featuresをpolicyの条件として利用し、実時間推論を可能にする。 - upper-lower分割を廃し、unified motion latentを導入。 - whole-body motion tokensを予測し、locomotion、torso motion、height regulation、foot interaction、hand manipulationを単一action spaceで jointly カバーする。 - 3段階の学習フレームワークにより、video world modelをegocentric visual dynamicsに適応させ、その後対象ヒューマノイドembodimentに適応させる。 - 単一のegocentric cameraからの入力で自律的loco-manipulationを駆動する。

- Unitree G1を用いた9つの実世界タスクで評価。 - 実時間動作を確認。 - 同一demonstrationsでfine-tuneしたVision-Language-Action (VLA) baselinesと比較し、overall success rateで30%以上上回ることを示す。 - decoupled upper-lower policiesでは達成できないtask-driven foot interactionの実行を確認。

- 結果は、video-pretrained WAMsが卓上manipulationから協調的で人間らしい全身ヒューマノイド制御へと拡張可能であることを示唆する。 - 具体的な限界や失敗事例、計算コスト、汎化性能に関する議論は要旨からは不明。

- 要旨で参照/比較されている研究: World Action Models (WAMs)、Vision-Language-Action (VLA) baselines、hierarchical paradigm (upper-lower split policies)。 - 関連手法として、video world models、denoising diffusion policies、whole-body control for humanoid loco-manipulationが挙げられる。