GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成

GRAILは、3Dアセットとvideo foundation models (VFMs)のpriorを組み合わせ、物理環境の再構築やteleoperationなしにhumanoid loco-manipulationのデモを合成する完全仮想のデジタル生成パイプライン。 - 3D configurations（object geometry, camera parameters, metric scale, environment depth, robot-proportioned character）を既知としてvideo generationとreconstructionに再利用。 - これによりmetric 4D human-object interaction (HOI) trajectoriesを再構成し、humanoid robotへretarget。 - object-aware latent adaptorとscene-aware trackerを訓練し、20,000以上のシーケンス（pick-up, object manipulation, sitting, terra…

teleoperationやmotion captureは物理セットアップ・計測器・ロボット操作が必要でスケール困難。 - GRAILは完全仮想で、物理環境再構築やteleoperation不要。 - 制約なしin-the-wild動画の再構成ではなく、完全指定3D configurationsから開始。 - このprivileged setupにより4D復元が条件付けられ、depth ambiguityとmorphology mismatchを低減。 - 結果として20,000以上の多様なシーケンスを生成可能。

3D assets, simulator-ready scenes, VFMsのpriorを構成。 - 既知の3D configurations（object geometry, camera parameters, metric scale, environment depth, robot-proportioned character）をvideo generation前に指定し、reconstructionで再利用。 - model-based object tracking, human motion estimation, interaction-aware optimizationでmetric 4D HOI trajectoriesを再構成。 - 再構成運動をhumanoid robotへretarget。 - 補完的task-general trackers（object-aware latent adaptor for manipulation, scene-aware tracker for terrain traversal）を訓練。

GRAIL生成データのみでegocentric visual policiesをsim-to-real pipelineで訓練。 - Unitree G1 humanoidに展開。 - 多様なobject pick-upで84%のreal-world success、stair-climbingで90%のsuccessを達成。 - 20,000以上のシーケンス（pick-up, object manipulation, sitting, terrain traversal）を生成。

要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は要旨に記載なし。

要旨で参照/比較されている研究は明示されていない。 - 関連手法としてvideo foundation models (VFMs)、human-object interaction (HOI) reconstruction、sim-to-real、humanoid loco-manipulation、Unitree G1が挙げられる。 - 同分野の定番としてteleoperation、motion capture、model-based object tracking、human motion estimation、interaction-aware optimizationが一般名として考えられる。