日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

手の再構築/レンダリングarXiv:2604.08943

MASS: メッシュ整合楕円変形可能サーフェルスプラッティングによる自己中心視単眼ビデオからの手の再構築とレンダリング

MASS: Mesh-inellipse Aligned Deformable Surfel Splatting for Hand Reconstruction and Rendering from Egocentric Monocular Video

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視の単眼ビデオから高精細な3D手を再構築するため、変形可能な2Dガウシアンサーフェル表現を用いた新しい手法を提案し、メッシュ整合楕円とフラクタル密度化によるメッシュからサーフェルへの変換、およびサーフェル変形と不透明度マスクによる効率的なモデリングを実現した。

詳しい要約

1. どんなもの?

- 一人称単眼動画から高忠実度3D手を再構築・レンダリングする手法 - 変形可能な2D Gaussian Surfel表現を活用 - 手と物体の相互作用や複雑な物体にも対応 - リアルタイム応用を目指し計算コストを削減

2. 先行研究と比べてどこがすごい?

- 既存手法は高解像度形状の取得や手と物体の相互作用、複雑な物体の扱いが困難 - 計算コストが高くリアルタイム応用に不向き - 提案手法は変形可能な2D Gaussian Surfelでこれらの課題を解決 - 高解像度表面表現とフォトリアルなレンダリングを実現

3. 技術・手法の肝は?

- 変形可能な2D Gaussian Surfel表現を採用 - mesh-aligned Steiner Inellipseとfractal densificationによるmesh-to-surfel変換 - 粗いパラメトリック手メッシュから高解像度2D Gaussian surfelを生成 - Gaussian Surfel Deformationで手の変形と個人特徴を効率的にモデル化 - surfel属性の残差更新と不透明度マスクを導入し、適応的密度制御なしで形状とテクスチャを改良 - 二段階訓練戦略と新規binding lossで最適化の堅牢性と再構築品質を向上

4. どうやって有効だと検証した?

- ARCTIC dataset、Hand Appearance dataset、Interhand2.6M datasetで広範な実験 - 最先端手法と比較して優れた再構築性能を達成

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- ARCTIC dataset、Hand Appearance dataset、Interhand2.6M datasetに関連する研究 - 変形可能なGaussian Splattingや手の再構築に関する手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyu Zhu, Yi Zhang, Lei Yao, Lap-pui Chau, Yi Wang

分類: cs.CV, cs.RO

原文アブストラクト

Reconstructing high-fidelity 3D hands from egocentric monocular videos remains a challenge due to the limitations in capturing high-resolution geometry, hand-object interactions, and complex objects on hands. Additionally, existing methods often incur high computational costs, making them impractical for real-time applications. In this work, we propose Mesh-inellipse Aligned deformable Surfel Splatting (MASS) to address these challenges by leveraging a deformable 2D Gaussian Surfel representation. We introduce the mesh-aligned Steiner Inellipse and fractal densification for mesh-to-surfel conversion that initiates high-resolution 2D Gaussian surfels from coarse parametric hand meshes, providing surface representation with photorealistic rendering potential. Second, we propose Gaussian Surfel Deformation, which enables efficient modeling of hand deformations and personalized features by predicting residual updates to surfel attributes and introducing an opacity mask to refine geometry and texture without adaptive density control. In addition, we propose a two-stage training strategy and a novel binding loss to improve the optimization robustness and reconstruction quality. Extensive experiments on the ARCTIC dataset, the Hand Appearance dataset, and the Interhand2.6M dataset demonstrate that our model achieves superior reconstruction performance compared to state-of-the-art methods.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI