日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ハンドキャプチャarXiv:2606.15966

VEPHand: 視点効率的なフォトメトリック手のパフォーマンスキャプチャの大規模化

VEPHand: View-Efficient Photometric Hand Performance Capture at Scale

シェア:XThreadsFacebookLINEはてブBluesky

約20視点の効率的なマルチビューシステムで、マスク不要のニューラル手法と物理に基づく登録フレームワークを用いて、高忠実度の動的手形状と外観をキャプチャするパイプラインを提案した。

詳しい要約

1. どんなもの?

- 動的な手のperformance captureとregistrationのためのend-to-end pipeline。 - 約20視点のview-efficientなmulti-viewシステムを対象。 - mask-freeなneural methodで手のgeometryとappearanceを抽出。 - physics-inspiredなframeworkでpersonalized hand modelにalignment。 - 12,000以上のsequenceでscalabilityとrobustnessを実証。 - 大規模なsynthetic 2D/3D hand datasetも導出。

2. 先行研究と比べてどこがすごい?

- 限られた視点密度でのphotometryとgeometryのambiguityのバランスという課題に対処。 - view-efficientかつunmaskedなscenarioでstate-of-the-artのreconstruction fidelityを達成。 - 高いregistration精度を実現。 - 単一手、両手interaction、hand-object manipulationに有効。 - 従来のmulti-viewシステムと比べ、view数が少なくても高忠実度を実現。

3. 技術・手法の肝は?

- mask-free neural method: scene parameterizationとscenario-specific density regularizationにより、unmasked画像から詳細なhand geometryとappearanceを抽出。 - physics-inspired framework: personalized hand modelのcanonical tetrahedral mesh内のintrinsic volumetric offsetsとpose parametersを最適化。 - robust lossesとoptimizationにより、非線形なskin deformationを捉え、severe self-contactでもplausibleな結果を保証。 - 入力ノイズに対する強い耐性。

4. どうやって有効だと検証した?

- 12,000以上のsequenceからなる大規模datasetで自動pipelineのscalabilityとrobustnessを実証。 - 単一手、複雑な両手interaction、自然なhand-object manipulationで有効性を確認。 - view-efficientかつunmaskedなscenarioでstate-of-the-artのreconstruction fidelityを達成。 - 高いregistration精度を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明記されていない。 - 同分野の関連手法として、multi-view hand capture、neural rendering、hand registration、physics-based deformationなどが考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengyang Shen, Kai-Hung Chang, Erroll Wood, Deying Kong, Bo Peng, Timo Bolkart, Jinlong Yang, Bowen Zhao, Danhang Tang, Sasa Petrovic, Emre Aksan, Jérémy Riviere, Vassilis Choutas, Delio Vicini, Jay Busch, Shichen Liu, Zhe Cao, Hugh Liu, JingJing Shen, Jonathan Taylor, Mingsong Dou

分類: cs.CV, cs.GR

原文アブストラクト

Robust, high-fidelity 3D hand capture, while fundamental to digital human creation, remains challenging with practical multi-view systems that balance rich photometry with the geometric ambiguities of reconstruction arising from limited viewpoint density. This paper presents an end-to-end pipeline for dynamic hand performance capture and registration, specifically designed for view-efficient setups ($\sim$20 views). We address key challenges with two primary innovations. First, to overcome reconstruction difficulties like limited view overlap and background clutter, our mask-free neural method robustly extracts detailed hand geometry and appearance from unmasked images using scene parameterization and scenario-specific density regularization. Second, addressing registration challenges such as accurately capturing non-linear skin deformations and ensuring plausible results during severe self-contact, we propose a physics-inspired framework. It aligns reconstructions to a personalized hand model by optimizing intrinsic volumetric offsets within its canonical tetrahedral mesh, alongside pose parameters. This approach, supported by robust losses and optimization, captures fine surface deformations, ensures plausible results under severe articulation and self-contact, and demonstrates strong tolerance to input noise. We demonstrate the scalability and robustness of our automated pipeline on an extensive dataset of over 12,000 sequences, from which we also derive a large-scale, high-quality synthetic 2D/3D hand dataset for training downstream tasks. This showcases its effectiveness for single hands, intricate two-hand interactions, and natural hand-object manipulations. Our method achieves state-of-the-art reconstruction fidelity in view-efficient, unmasked scenarios and highly accurate registration. Our project page are available at https://vephand.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI