日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

リターゲティングarXiv:2512.21573

SAM 3D Bodyを用いた世界座標系での人間動作リターゲティング

World-Coordinate Human Motion Retargeting via SAM 3D Body

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から人間の世界座標動作を復元し、Unitree G1ヒューマノイドにリターゲティングする軽量フレームワークを提案。SAM 3D Bodyを固定知覚バックボーンとして活用し、物理制約付き最適化で安定した軌道を実現。

詳しい要約

1. どんなもの?

- 単眼動画から world-coordinate の human motion を復元し、humanoid robot へ retarget するフレームワーク - SAM 3D Body (3DB) を frozen な perception backbone として利用 - Momentum HumanRig (MHR) 表現を robot-friendly な中間表現として採用 - embodied intelligence / robotics 向けの軽量・実装志向の手法

2. 先行研究と比べてどこがすごい?

- 複雑な SLAM pipeline や heavy な temporal model を回避する設計 - frozen backbone と軽量な物理制約で robot-ready な motion を得る点が特徴 - 具体的な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は?

- 追跡対象ごとに identity と skeleton-scale パラメータを固定し、bone length の時間的一貫性を担保 - 低次元 MHR latent space での効率的な sliding-window optimization により per-frame 予測を平滑化 - differentiable soft foot-ground contact model と contact-aware global optimization で物理的に妥当な global root trajectory を復元 - kinematics-aware な two-stage inverse kinematics pipeline で Unitree G1 へ retarget

4. どうやって有効だと検証した?

- 実 monocular videos 上で評価 - 安定した world trajectory と信頼できる robot retargeting が得られたと報告 - 定量的な指標や比較実験の詳細は要旨からは不明

5. 議論はある?

- structured human representation と軽量な物理制約の組合せで単眼入力から robot-ready motion が得られる可能性を示唆 - 限界や失敗ケース、SLAM ベース手法との比較に関する議論は要旨からは不明

6. 次に読むべき論文は?

- SAM 3D Body (3DB) - Momentum HumanRig (MHR) - Unitree G1 向け retargeting / inverse kinematics 関連研究 - monocular human motion recovery における SLAM ベース手法や temporal model 系の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhangzheng Tu, Kailun Su, Shaolong Zhu, Yukun Zheng

分類: cs.RO

原文アブストラクト

Recovering world-coordinate human motion from monocular videos with humanoid robot retargeting is significant for embodied intelligence and robotics. To avoid complex SLAM pipelines or heavy temporal models, we propose a lightweight, engineering-oriented framework that leverages SAM 3D Body (3DB) as a frozen perception backbone and uses the Momentum HumanRig (MHR) representation as a robot-friendly intermediate. Our method (i) locks the identity and skeleton-scale parameters of per tracked subject to enforce temporally consistent bone lengths, (ii) smooths per-frame predictions via efficient sliding-window optimization in the low-dimensional MHR latent space, and (iii) recovers physically plausible global root trajectories with a differentiable soft foot-ground contact model and contact-aware global optimization. Finally, we retarget the reconstructed motion to the Unitree G1 humanoid using a kinematics-aware two-stage inverse kinematics pipeline. Results on real monocular videos show that our method has stable world trajectories and reliable robot retargeting, indicating that structured human representations with lightweight physical constraints can yield robot-ready motion from monocular input.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI