WB-WAM：ヒューマノイド移動操作のための異種全身・手事前学習

- 人型ロボットの loco-manipulation 向けに、身体・root・dexterous hand を統合した whole-body 行動を扱う World Action Model『WB-WAM』を提案。 - 生成 video pre-training に明示的な whole-body action supervision を組み込み、1880.2 時間の部分的注釈付き video と motion data から video と action を joint learning。 - 得た prior を PICO mid-training で精緻化し、forward kinematics の補助 supervision でロボットタスクに適応。 - WB-Datasets を構築し、retargeted egocentric human demonstrations と robot trajectories を提供。

- 従来の robot pre-training data は whole-body motion のカバレッジが限定的だった。 - WB-WAM は body・root・dexterous hand を共有 physical action space に統合し、heterogeneous な情報源から joint video-action learning を可能にした点が新しい。 - 部分的注釈付き video と motion data を活用し、限られた robot data を task-aligned human motion で補完する。 - 要旨からは、既存手法との定量的な直接比較の詳細は不明。

- 共有 physical action space で body, root, dexterous hand の注釈を統合。 - 1880.2 時間の部分的注釈付き video と motion data から generative video pre-training と action learning を同時に行う。 - PICO mid-training で prior を精緻化。 - forward kinematics の補助 supervision でロボットタスクに適応。 - WB-Datasets により retargeted egocentric human demonstrations と robot trajectories を整備。

- シミュレーション評価で HumanoidArena において 81.9% の whole-body task performance を達成。 - 実世界実験で 5 タスクにわたり平均成功率 84.0% を確認。 - task-aligned PICO mid-training が下流タスク性能を改善し、実ロボット demonstrations の必要性を低減することを示した。

- heterogeneous whole-body pre-training と human motion transfer が、data-efficient な humanoid loco-manipulation への実用的経路となり得ると主張。 - 限られた robot data を human motion で補完する有効性を示す一方、要旨からは限界や失敗事例、計算コストなどの議論は不明。

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、generative video pre-training、World Action Model、human motion retargeting、forward kinematics supervision、PICO mid-training が挙げられる。 - 同分野の定番として humanoid loco-manipulation や whole-body control に関する研究を読むとよい。