日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手の動き再構築arXiv:2606.30308

ビデオ拡散モデルの手の動き再構築における驚くべき有効性

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みのビデオ拡散モデルの表現を活用し、自己中心視点のビデオから4Dの両手のポーズを再構築する手法を提案。検出器やテスト時最適化を不要とし、既存手法を大幅に上回る性能を達成した。

詳しい要約

1. どんなもの?

- 一人称視点の動画から両手の4D手姿勢を再構築するタスクに取り組む研究。 - 既存手法の限界(検出器の失敗、手姿勢アノテーションの不足)を指摘。 - 事前学習済みのvideo diffusion modelの表現を活用するViDiHandを提案。 - 検出器、インフィラー、テスト時最適化を必要とせず、フルフレームで動作。 - ARCTIC、HOT3D、HOI4Dで従来手法を大幅に上回る性能を達成。

2. 先行研究と比べてどこがすごい?

- 画像ベースのパイプラインは重いオクルージョン下で検出器が失敗する。 - 動画ベースの手法は手姿勢アノテーションが少なく、時間モジュールの学習が不十分。 - ViDiHandはvideo diffusion modelの世界事前知識を活用し、これらの問題を克服。 - 検出器やインフィラー、テスト時最適化を不要にした点が新しい。 - 従来手法を大幅に上回る性能を複数データセットで示した。

3. 技術・手法の肝は?

- 事前学習済みvideo diffusion modelの表現を利用。 - hand-overlay rendering objectiveで特徴を手に特化させ、世界事前知識を保持。 - 適応された特徴からdecoderがメートルスケールの姿勢を復元。 - パイプライン全体がフルフレームで直接動作。 - 検出器、インフィラー、テスト時最適化を排除。

4. どうやって有効だと検証した?

- ARCTIC、HOT3D、HOI4Dの3つのデータセットで評価。 - 従来手法と比較して大幅に優れた性能を達成。 - 定量的な比較結果が示されている(詳細は要旨からは不明)。 - アブレーションや詳細な検証方法は要旨からは不明。

5. 議論はある?

- video diffusion modelが手運動再構築の強力な基盤となることを示唆。 - embodied AIのためのスケーラブルなin-the-wildデータ収集への有望な道筋を提示。 - 限界や課題についての議論は要旨からは不明。 - 今後の研究方向性として、実世界データへの応用が期待される。

6. 次に読むべき論文は?

- 要旨で参照されている具体的な論文は不明。 - 関連手法として、image-based pipelines、video-based methods、video diffusion modelsが挙げられる。 - 同分野の定番として、hand pose estimation、4D reconstruction、egocentric visionの研究が参考になる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, Xingang Pan

分類: cs.CV

原文アブストラクト

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI