動的シーン向けのコンパクトな明示的4D表現

単眼動画と既知カメラから動的シーンをコンパクトな4D表現に符号化するfeed-forward autoencoder「Sparc4D」を提案。 - 静的特徴はクリップ全体で共有し、時間変化特徴はspatially anchored temporal slotsに格納。 - 疎なdecoderが2D Gaussian surfelsを生成し、保存したsource pixelsをgeometric re-projectionで用いて微細テクスチャを保持。 - 状態は1枚の完全なsource frame、4フレームごとにサンプルした動的領域画素、学習特徴、sparse occupancyを含む。

per-frame storageと比べ中央値5.0倍少ない値数で、完全モデルのnovel-view品質をほぼ変えずに動的シーンを表現。 - 32フレームMultiCamVideo clipで平均0.67M(ランダム窓)、0.66M(first-32 protocol)の32-bit相当値。 - first-32でPSNR 21.97 dBを達成し、MoVieSの20.40 dBを上回る。ランダム窓ではPSNRは同等。 - 実データでのfine-tuningなしにDyCheckとNeu3Dへ転移。

feed-forward autoencoderで単眼動画をsparse 4D scene stateへ符号化。 - 静的特徴をクリップ共有、時間変化特徴をspatially anchored temporal slotsに格納。 - sparse decoderが2D Gaussian surfelsを生成。 - 保存したsource pixelsをgeometric re-projectionで利用し微細テクスチャを保持。 - 状態に1枚の完全source frame、4フレームごとの動的領域画素、学習特徴、sparse occupancyを含む。

32フレームMultiCamVideo clipで評価。 - first-32 protocolでPSNR 21.97 dB(MoVieSは20.40 dB)。 - ランダム窓ではPSNRはMoVieSと同等。 - 実データfine-tuningなしでDyCheckとNeu3Dへ転移し、保存テクスチャがLPIPSを改善する一方PSNRをわずかに低下。 - 凍結したSparc4D特徴がManiSkill3 StackCubeで1,000デモから81.3%成功するmanipulation policyを支援。

per-frame storage比で値数を大幅削減しつつnovel-view品質をほぼ維持。 - first-32ではMoVieSより高PSNRだが、ランダム窓では同等。 - DyCheckとNeu3Dへの転移では保存テクスチャがLPIPSを改善するがPSNRはわずかに低下。 - 要旨からは不明な点として、計算コスト、メモリ、より長いクリップや多様なシーンへの汎化、失敗事例の議論は明示されていない。

MoVieS(比較対象)、DyCheckとNeu3D(転移先データセット)、ManiSkill3 StackCube(manipulation policy評価)、MultiCamVideo(評価データセット)。 - 関連手法として2D Gaussian surfels、feed-forward autoencoder、sparse 4D representation、geometric re-projection。