日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

全身復元arXiv:2605.18102

DanceHMR: 単眼ビデオからの手を含む全身人体メッシュ復元

DanceHMR: Hand-Aware Whole-Body Human Mesh Recovery from Monocular Videos

シェア:XThreadsFacebookLINEはてブBluesky

単眼ビデオから全身の動きと手の詳細を安定して復元する新しいフレームワークを提案。

詳しい要約

1. どんなもの?

- 単眼動画からSMPL-Xの全身メッシュを復元するタスク - 身体の時間的安定性と手指の詳細なarticulationを両立 - digital humans, avatar animation, embodied simulationへの応用 - 既存video HMRは手指を軽視、image-based全身法はフレーム独立でjitter - 本手法は単一のtemporal architectureで全身を統合復元

2. 先行研究と比べてどこがすごい?

- 既存video HMR: 身体はcoherentだが手指articulationを軽視 - image-based全身法: フレーム毎独立でjitteryかつ不正確な手 - 本手法は身体contextとpart-specific hand観測を統合 - residual body-hand fusionで安定身体運動と詳細手復元を両立 - close-up-aware augmentationでupper-body framing時の頑健性向上

3. 技術・手法の肝は?

- body contextとpart-specific hand observationsの統合 - residual body-hand fusionを採用 - 単一のtemporal architectureで全身を扱う - close-up-aware augmentationを導入 - 出力は時間的に安定かつ2D-consistentなSMPL-X motion

4. どうやって有効だと検証した?

- whole-bodyおよびbody-only benchmarksで評価 - 手の再構成が改善、身体精度はcompetitive - 挑戦的なreal-world動画で時間的安定性と2D consistencyを確認 - 具体的な数値・データセット名は要旨からは不明

5. 議論はある?

- 手指の詳細と身体の時間安定性のトレードオフに言及 - upper-body framingへの頑健性が課題として示唆 - 限界や失敗事例の詳細は要旨からは不明 - 計算コストやリアルタイム性は要旨からは不明

6. 次に読むべき論文は?

- 既存video HMR手法(具体名は要旨からは不明) - image-based whole-body HMR手法(具体名は要旨からは不明) - SMPL-Xベースの全身メッシュ復元研究 - 手指articulationを扱うhand pose estimation研究 - 同分野の定番: VIBE, TCMR, SMPL-X, ExPoseなど

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhao Shen, Ming Zhou, Hengyuan Zhang, Siyuan Bian, Youjiang Xu, Yuan Zhang

分類: cs.CV

原文アブストラクト

Monocular video human mesh recovery is essential for digital humans, avatar animation, and embodied simulation, where both temporal stability and expressive whole-body motion are required. Existing video HMR methods produce coherent body motion but often overlook detailed hand articulation, while image-based whole-body methods recover SMPL-X meshes independently per frame, often leading to jittery and inaccurate hand motion. We present a temporally coherent whole-body HMR framework for challenging in-the-wild monocular videos. Our model unifies body context and part-specific hand observations through residual body-hand fusion, enabling stable body motion and detailed hand recovery within a single temporal architecture. We further introduce close-up-aware augmentation to improve robustness under upper-body framing. Experiments on whole-body and body-only benchmarks demonstrate improved hand reconstruction and competitive body accuracy. Our method also produces temporally stable and 2D-consistent SMPL-X motion in challenging real-world videos.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI