4D生成/ビデオ拡散2026/10/10arXiv:2610.14685

Demiurge: 自己回帰ビデオ再レンダリングによるナビゲート可能な4D世界の構築

Demiurge: Forging Navigable 4D Worlds via Autoregressive Video Rerendering

動的4D点群メモリを基盤に、外観拡散モデル・深度補完・メモリ対応ワーピング・幾何認識リファインメントを組み合わせ、単一動画から軌跡間で一貫したナビゲート可能な4D世界を自己回帰的に生成する手法を提案。

詳しい要約

1. どんなもの？

- 単一入力動画から新規視点動画を合成する video diffusion ベースのパイプライン - 動的な 4D point-cloud memory cache を基盤に据えた autoregressive video rerendering - 目的は cross-trajectory consistency を保った navigable 4D world の構築 - world modeling, embodied intelligence, robotic simulation への応用を想定 - プロジェクトページ: https://hanxinzhu-lab.github.io/demiurge_project_page/

2. 先行研究と比べてどこがすごい？

- 既存手法は camera trajectory を独立に処理し cross-trajectory consistency を欠く - Demiurge は 4D memory を介して軌道間の一貫性を促進 - 密な multi-view trajectory 上での coherent spatiotemporal lattice 構築を実現 - 入力視野の重なりが無い 180-degree rotations を含む large-parallax 設定に対応 - geometry-faithful な出力により 3D Gaussian Splatting へ直接最適化可能 - 実験で state-of-the-art 性能を報告

3. 技術・手法の肝は？

- 動的 4D point-cloud memory cache を中核に据える - (1) appearance video diffusion model: 4D memory 条件付きで photorealistic な新規視点動画を合成 - (2) memory-consistent video depth completion model: 既知領域の depth を cached geometry に整合させ、欠損領域を補完 - これにより memory 更新時の scale ambiguity と不連続性を緩和 - (3) memory-aware dual-stream warping: 高忠実な visual guidance と occlusion cues を提供 - (4) geometry-aware video refinement: 知覚品質を向上

4. どうやって有効だと検証した？

- Extensive experiments により state-of-the-art 性能を実証 - 密な multi-view trajectory 上での coherent spatiotemporal lattice 構築を確認 - 入力視野の重なりが無い 180-degree rotations を含む large-parallax な camera motion 下での rerendering を検証 - geometry-faithful な出力が最小限の artifact で高品質 3D Gaussian Splatting に最適化可能なことを確認

5. 議論はある？

- 要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として video diffusion による novel-view video synthesis - 関連手法として 3D Gaussian Splatting - 関連手法として video depth completion - 関連手法として autoregressive video generation

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanxin Zhu, Jianqi Ma, Cong Wang, Zhihao Hu, Junyao Gao, Tianyu He, Junyan Lin, Jiayin Xiao, Jiateng Shou, Sen Liang, Weidong Zhang, Zhibo Chen, Jun Zhang

分類: cs.CV

原文アブストラクト

Recent advances in video diffusion enable novel-view video synthesis from a single input video, supporting world modeling, embodied intelligence, and robotic simulation. However, existing methods process camera trajectories independently, lacking the cross-trajectory consistency needed for coherent, navigable 4D worlds. We introduce Demiurge, an autoregressive video rerendering pipeline built on a dynamic 4D point-cloud memory cache. It promotes cross-trajectory consistency through four components: (1) an appearance video diffusion model that synthesizes photorealistic novel-view videos conditioned on the 4D memory; (2) a memory-consistent video depth completion model that aligns known-region depths with cached geometry and completes missing regions, mitigating scale ambiguity and discontinuities during memory updates; (3) memory-aware dual-stream warping that provides high-fidelity visual guidance and occlusion cues for novel-view synthesis; and (4) geometry-aware video refinement that enhances perceptual quality. Extensive experiments demonstrate state-of-the-art performance and three key capabilities: coherent spatiotemporal lattice construction over dense multi-view trajectories; large-parallax video rerendering under challenging camera motions, including 180-degree rotations with no input-view overlap; and geometry-faithful outputs that can be directly optimized into high-quality 3D Gaussian Splatting representations with minimal artifacts. Project page: https://hanxinzhu-lab.github.io/demiurge_project_page/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧