日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D/4D生成arXiv:2510.23605

追跡・修復・再スプラット:被写体駆動型3D/4D生成のための漸進的テクスチャ補完

Track, Inpaint, Resplat: Subject-driven 3D and 4D Generation with Progressive Texture Infilling

シェア:XThreadsFacebookLINEはてブBluesky

既存の3D生成モデルが作った3Dアセットに対し、動画トラッキングで修正領域を特定し、被写体駆動型の2Dインペインティングで段階的に補完した後、再スプラッティングで3Dに戻すことで、特定被写体の同一性を保った3D/4D生成を実現する手法を提案。

詳しい要約

1. どんなもの?

- 被写体(subject)の同一性を保つ3D/4D生成手法 TIRE (Track, Inpaint, REsplat) の提案 - 既存の3D生成モデルが出力した初期3Dアセットを入力として受け取る - 1枚または少数の画像で特定被写体をパーソナライズした3D/4Dコンテンツを生成する - 3段階の処理: 追跡(Track)、修復(Inpaint)、再スプラット(Resplat)で構成

2. 先行研究と比べてどこがすごい?

- 既存の3D/4D生成はphotorealism・効率・美観に最適化され、視点間で被写体のsemantic identityを保つのが苦手 - Personalization / Subject-driven generation は2Dでは進むが、personalized 3D/4D生成は未開拓 - 提案手法はstate-of-the-artと比べ3D/4D生成でのidentity preservationを大幅に改善 - 初期3Dアセットを再利用する点が既存の一からの生成と異なる

3. 技術・手法の肝は?

- 入力: 既存3D生成モデルによる初期3Dアセット - Track: video trackingで修正が必要な領域を特定 - Inpaint: subject-drivenな2D inpaintingモデルで特定領域をprogressiveに埋める - Resplat: 修正後の2D multi-view観測を一貫性を保ちつつ3Dへ再スプラット - 追跡→修復→再スプラットの段階的パイプラインが肝

4. どうやって有効だと検証した?

- Extensive experimentsを実施し、state-of-the-art手法と比較 - 3D/4D生成におけるidentity preservationの改善を定量的・定性的に示す - 具体的なデータセット名・評価指標は要旨からは不明 - プロジェクトサイトで結果を公開

5. 議論はある?

- 既存3D生成の出力に依存するため初期アセットの品質が影響しうる(要旨からは不明) - video trackingや2D inpaintingの誤りが最終3D/4Dに伝播する可能性は要旨からは不明 - 計算コストや処理時間の議論は要旨からは不明 - 4D(動的)生成への適用範囲の詳細は要旨からは不明

6. 次に読むべき論文は?

- 初期3Dアセット生成に用いる既存3D generative model(例: 3D生成の代表的手法) - subject-driven 2D inpaintingモデル(例: パーソナライズ拡散モデル) - video tracking手法(例: 動画セグメンテーション/追跡) - 3D再構成・スプラット表現(例: Gaussian Splatting系) - 比較対象のstate-of-the-artな3D/4D生成およびpersonalized生成手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuhong Zheng, Ashkan Mirzaei, Igor Gilitschenski

分類: cs.CV, cs.AI, cs.GR, cs.LG, cs.RO

原文アブストラクト

Current 3D/4D generation methods are usually optimized for photorealism, efficiency, and aesthetics. However, they often fail to preserve the semantic identity of the subject across different viewpoints. Adapting generation methods with one or few images of a specific subject (also known as Personalization or Subject-driven generation) allows generating visual content that align with the identity of the subject. However, personalized 3D/4D generation is still largely underexplored. In this work, we introduce TIRE (Track, Inpaint, REsplat), a novel method for subject-driven 3D/4D generation. It takes an initial 3D asset produced by an existing 3D generative model as input and uses video tracking to identify the regions that need to be modified. Then, we adopt a subject-driven 2D inpainting model for progressively infilling the identified regions. Finally, we resplat the modified 2D multi-view observations back to 3D while still maintaining consistency. Extensive experiments demonstrate that our approach significantly improves identity preservation in 3D/4D generation compared to state-of-the-art methods. Our project website is available at https://zsh2000.github.io/track-inpaint-resplat.github.io/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI