日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dアバター生成arXiv:2605.25220

マルチビュー生成なしで一貫性を実現する3Dガウシアンヘッドアバター

Multi-view Consistent 3D Gaussian Head Avatars 'without' Multi-view Generation

シェア:XThreadsFacebookLINEはてブBluesky

ランダムな2D画像のみから、マルチビューや3Dデータを使わずに高品質な3Dガウシアンヘッドアバターを生成する手法を提案。

詳しい要約

1. どんなもの?

- ランダムにサンプリングした2D画像のみから、条件付き・無条件の3D head modelを学習する手法MVCHeadを提案。 - multi-view dataset、3D capture、中間的な2D view synthesisを一切使わない。 - 3D Gaussian表現にmulti-view consistency (MVC)を直接組み込み、単一ショットのstate space modelで3D Gaussiansを回帰する。 - AR/VR、telepresence、digital humansへの応用を想定。 - 大規模データセットFaceGS-10Kも公開。

2. 先行研究と比べてどこがすごい?

- 既存手法はmulti-view dataset、3D captures、intermediate 2D view synthesisに依存していた。 - 本研究はそれらを使わず、ランダムな2D画像のみから学習する点が新しい。 - multi-view data、3D supervision、intermediate view generationを不要にした。 - perceptual qualityでstate-of-the-artを達成し、textureとgeometric consistencyで先行手法を上回る。 - shape consistencyは同等レベルを維持。

3. 技術・手法の肝は?

- 単一ショットのstate space modelであるMVCHeadを導入。 - 3D表現内でMVCを直接強制しつつ、その制約下で3D Gaussiansを回帰。 - Hierarchical State Space (HiSS) blockでGaussiansをcoarse-to-fineに段階的に精緻化し、long-range dependenciesを捉える。 - HiSS内でMambaの標準的なunidirectional scanをHierarchical Bi-directional State Scan (HiBiSS)に置き換え、multi-view inconsistencyが最も強い軸に沿ってrecurrenceを整列。 - SE(3) Multi-view Criticを設計し、self-rendersの集合が単一の3D configurationに由来するかを判定。実multi-view pairsを見ずにcross-view pixel alignmentを報酬化。

4. どうやって有効だと検証した?

- perceptual qualityでstate-of-the-artを達成。 - texture consistencyとgeometric consistencyで先行手法を上回る。 - shape consistencyは同等を維持。 - スケーラビリティ実証のため、3D Gaussian head assetsの大規模データセットFaceGS-10Kを公開し、学習・評価に用いる。 - 具体的な定量指標やベンチマーク名は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - multi-view dataや3D supervisionなしで学習する設定の限界や失敗ケースについての議論は要旨に記載なし。 - SE(3) Multi-view Criticの報酬設計の詳細や、shape consistencyが同等に留まる理由も要旨からは不明。

6. 次に読むべき論文は?

- Mamba(HiBiSSが標準unidirectional scanを改変する基盤)。 - 3D Gaussian Splatting(3D Gaussians表現の基盤)。 - 既存の3D head avatar生成手法(multi-view datasetや3D capture、intermediate 2D view synthesisに依存するもの)。 - FaceGS-10K(本研究が公開するデータセット)。 - 具体的な参照論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aviral Chharia, Fernando De la Torre

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

High-fidelity 3D Gaussian head avatar generation is critical for applications such as AR/VR, telepresence, and digital humans. Existing methods depend on multi-view datasets, 3D captures, or intermediate 2D view synthesis. In contrast, we learn both conditional and unconditional 3D head models from randomly sampled 2D images alone, without using multi-view data, 3D supervision, or intermediate view generation. We introduce MVCHead, a single-shot state space model that enforces multi-view consistency (MVC) directly in the 3D representation while regressing 3D Gaussians under these constraints. At its core, we propose a Hierarchical State Space (HiSS) block that progressively refines Gaussians from coarse to fine, while capturing long-range dependencies. Within each HiSS block, we modify Mamba's standard unidirectional scan with the proposed Hierarchical Bi-directional State Scan (HiBiSS) that aligns recurrence with the axes along which multi-view inconsistencies are strongest. Finally, we design an SE(3) Multi-view Critic that judges whether a set of self-renders arises from a single underlying 3D configuration, rewarding cross-view pixel alignment without observing real multi-view pairs. MVCHead achieves state-of-the-art perceptual quality, surpasses prior methods in both texture and geometric consistency, and maintains comparable shape consistency. To demonstrate scalability, we release FaceGS-10K, the first large-scale dataset of ready-to-use 3D Gaussian head assets for training and evaluation of 3D head models. Project Page and code: https://humansensinglab.github.io/MVCHead/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI