3D再構成/ガウシアンスプラッティング2026/4/1arXiv:2604.03462

スペクトラルスプラット：運転シーンのための外観分離型フィードフォワードガウシアンスプラッティング

SpectralSplat: Appearance-Disentangled Feed-Forward Gaussian Splatting for Driving Scenes

運転シーンの3D再構成において、幾何学と外観（照明・天候など）を分離するフィードフォワードガウシアンスプラッティング手法を提案し、外観の転送や再照明を可能にした。

詳しい要約

1. どんなもの？

- 自動運転シーン向けの feed-forward 3D Gaussian Splatting 手法。 - 外観（照明・天候・時間帯）と幾何を分離する。 - 外観条件付きの再照明・外観転送・時系列一貫レンダリングを可能にする。 - 共有 MLP と global appearance embedding で色予測を分岐。

2. 先行研究と比べてどこがすごい？

- 従来の feed-forward 3DGS は幾何と過渡的外観が絡み、再照明や外観転送が困難。 - 本手法は外観非依存の base stream と外観条件付き adapted stream に分離。 - 外観適応型 temporal history により任意の外観で再レンダリング可能。 - 再構成品質を維持しつつ外観制御を実現。

3. 技術・手法の肝は？

- 色予測を appearance-agnostic base stream と appearance-conditioned adapted stream に分解。 - 両者は DINOv2 特徴から得た global appearance embedding で条件付けられた共有 MLP が生成。 - 分離を促すため、physics-based intrinsic decomposition と diffusion-based generative refinement を組み合わせた hybrid relighting pipeline でペア観測を生成。 - complementary consistency, reconstruction, cross-appearance, base color の損失で学習。 - appearance-adaptable temporal history が外観非依存特徴を保持。

4. どうやって有効だと検証した？

- 自動運転シーケンスで実験。 - 基盤 backbone の再構成品質を維持しつつ、制御可能な外観転送と時系列一貫再照明を実現することを示す。 - 詳細なデータセット名や定量指標は要旨からは不明。

5. 議論はある？

- 外観と幾何の分離により再照明・外観転送・多環境下での一貫レンダリングが可能。 - 限界や失敗事例、計算コスト、一般化性に関する議論は要旨からは不明。

6. 次に読むべき論文は？

- feed-forward 3D Gaussian Splatting の基盤手法（例: 元の 3D Gaussian Splatting, feed-forward 3DGS）。 - DINOv2 特徴を用いた外観埋め込み。 - physics-based intrinsic decomposition と diffusion-based generative refinement を組み合わせた relighting 手法。 - 自動運転シーン向けの再照明・外観転送研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quentin Herau, Tianshuo Xu, Depu Meng, Jiezhi Yang, Chensheng Peng, Spencer Sherk, Yihan Hu, Wei Zhan

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Feed-forward 3D Gaussian Splatting methods have achieved impressive reconstruction quality for autonomous driving scenes, yet they entangle scene geometry with transient appearance properties such as lighting, weather, and time of day. This coupling prevents relighting, appearance transfer, and consistent rendering across multi-traversal data captured under varying environmental conditions. We present SpectralSplat, a method that disentangles appearance from geometry within a feed-forward Gaussian Splatting framework. Our key insight is to factor color prediction into an appearance-agnostic base stream and and appearance-conditioned adapted stream, both produced by a shared MLP conditioned on a global appearance embedding derived from DINOv2 features. To enforce disentanglement, we train with paired observations generated by a hybrid relighting pipeline that combines physics-based intrinsic decomposition with diffusion based generative refinement, and supervise with complementary consistency, reconstruction, cross-appearance, and base color losses. We further introduce an appearance-adaptable temporal history that stores appearance-agnostic features, enabling accumulated Gaussians to be re-rendered under arbitrary target appearances. Experiments demonstrate that SpectralSplat preserves the reconstruction quality of the underlying backbone while enabling controllable appearance transfer and temporally consistent relighting across driving sequences.

arXivで原文を読む →arXiv概要ページ

← 論文一覧