TRON: 3Dガウス再構成のためのニューラルレンダラをオーケストレーションする光線追跡

- TRONは、3D Gaussian ray tracingとneural renderingを組み合わせたレンダリングフレームワーク。 - 実世界の3Dシーンを対象に、新規照明、動的物体運動、物体挿入、マテリアル編集下でリアルで制御可能なレンダリングを可能にする。 - 明示的な3D表現とニューラルレンダリングの長所を統合し、インタラクティブ編集とフォトリアリスティック合成を両立。

- 従来のGaussian表現のPBRのみに頼る手法は、再構成形状・マテリアル推定・光輸送推定の不完全さからリアルなrelightingが困難。 - 既存のneural renderingは明示的なシーン表現を欠き、細粒度のインタラクティブ編集が制限される。 - TRONはGaussianベースのrelighting手法よりリアリズムで優れ、従来のneural rendererより編集性と速度で優れる。 - 実世界3D環境での実用的インタラクティブアプリケーションを可能にした初の手法と主張。

- 学習済みinverse renderingモデルからのintrinsic decomposition priorsを用いてGaussian fieldのマテリアル特性を正則化。 - ray tracerを最終ピクセル生成ではなくradiometric guidanceの提供に転用。 - その出力を構造化された3D scaffoldとして扱い、軽量neural rendererがshading-model制約付き推定とフォトリアル出力のドメインギャップを埋める。 - 明示的3D知識と堅牢なマテリアルpriorの組み合わせが速度と制御性を、neural renderingがフォトリアル画像合成を実現。

- 新たに構築したデータセットでneural rendererを訓練。データセットは3D再構成から得た合成および実世界フレーム2.1M枚を含む。 - 訓練は大規模pretrainingと対象を絞ったfine-tuningからなる多段階戦略。 - Gaussianベースrelighting手法との比較でリアリズム、従来neural rendererとの比較で編集性と速度を評価。

- 要旨からは不明。

- 要旨で参照/比較されている研究: Gaussian-based relighting methods、prior neural renderers、learned inverse rendering model。 - 関連手法: 3D Gaussian Splatting、physically based rendering (PBR)、neural rendering、intrinsic decomposition。 - 同分野の定番: NeRF (Neural Radiance Fields)。