MLPスプラッティング：オブジェクト中心のニューラルフィールド
MLP Splatting: Object-Centric Neural Fields
少数の表現力豊かな光場プリミティブを用いてシーンを分解し、フォトリアリスティックな新規視点合成を実現する手法を提案。各プリミティブは局所的なMLPで表現され、RGBのみの教師信号で学習され、オブジェクト単位の編集が可能。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Shinjeong Kim, Yuzhou Cheng, Xin Kong, Paul H. J. Kelly, Andrew J. Davison
分類: cs.CV
原文アブストラクト
3D representations are fundamental to scene rendering, understanding, and interaction. Recent approaches, such as 3D Gaussian Splatting and Neural Radiance Fields, achieve impressive photorealistic novel-view synthesis, but lack the ability to easily decompose scene elements into a few primitives, requiring additional segmentation or grouping for object-level manipulation. We present MLP-Splatting, a method that enables scene decomposition via a few expressive light-field primitives while providing photorealistic novel-view synthesis. MLP-Splatting models each primitive as an independent compact MLP with localized spatial support that predicts radiance and opacity. In contrast to low-level Gaussian primitives or a single global radiance field, our neural primitives provide greater expressive capacity while remaining spatially localized. Rendering is performed through efficient sparse volumetric compositing over ray-primitive interactions. Our primitives are supervised using RGB supervision alone, which yields primitives that represent local scene regions often corresponding to objects or object parts, enabling interactive object-level editing without segmentation masks by selecting a handful of primitives. Our method, augmented with optional semantic feature distillation, enables open-vocabulary scene interaction and open-set instant segmentation. Compared to state-of-the-art methods, we achieve substantially lower memory usage (1/15$\times$) and faster rendering (3$\times$), as we show in our experiments compared to semantic 3DGS methods. Project Page: https://shinjeongkim.com/mlp-splatting
関連論文
- 浮遊放射輝度ネットワークニューラルレンダリング
- Endo-NeRF++: 動的術野再構成のための不確実性を考慮したマルチ解像度ハッシュ符号化ニューラルレンダリングニューラルレンダリング
- TRON: 3Dガウス再構成のためのニューラルレンダラをオーケストレーションする光線追跡ニューラルレンダリング
- 密なメトリック深度を組み込んだニューラル3D表現による視点合成と再照明ニューラルレンダリング
- NSLF-OL: リアルタイム逐次3D再構成と並行したニューラル表面ライトフィールドのオンライン学習ニューラルレンダリング
