日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/逆レンダリングarXiv:2607.17803

FF-ProCams: プロジェクタ・カメラシステムのためのフィードフォワード3Dガウススプラッティング

FF-ProCams: Feed-Forward Gaussian Splatting for Projector-Camera System

シェア:XThreadsFacebookLINEはてブBluesky

プロジェクタ・カメラシステム向けに、スパースな多視点観測から再照明可能な3Dガウス表現を単一のフォワードパスで推定する逆レンダリングフレームワークを提案し、高精度かつ高速なレンダリングを実現した。

詳しい要約

1. どんなもの?

FF-ProCamsは、Projector-Camera (ProCams) システム向けのFeed-Forward 3D Gaussian inverse-renderingフレームワーク。スパースな多視点観測から、リライタブルなGaussian表現を単一のフォワードパスで予測し、任意のアクティブ照明とProCamsポーズ下でのカメラ観測を合成する。

2. 先行研究と比べてどこがすごい?

既存のProCams向けinverse-rendering法は高忠実度だがシーンごとの最適化に時間がかかる。一方、主流のfeed-forward 3D再構成モデルは焼き込み済みの外観を生成し、空間的に変化するプロジェクタ照明に適応できない。FF-ProCamsは、フィードフォワードでリライタブルな表現を予測することで、精度と効率のトレードオフを解決する。

3. 技術・手法の肝は?

ハイブリッドなMamba2-Transformerエンコーダがスパースな多視点観測から幾何・測光の手がかりを集約し、軽量ヘッドがリライタブルなGaussian表現を予測する。さらに、プロジェクタを考慮した微分可能レンダラを設計し、任意のアクティブ照明とProCamsポーズ下でのカメラ観測を合成する。大規模な合成ProCamsデータセットを構築してfeed-forward学習を行う。

4. どうやって有効だと検証した?

実験では、8視点のみの入力で、297視点を用いる最適化ベースのベースラインを上回る性能を示し、テスト時の再構成時間を0.13秒に短縮(3〜5桁の高速化)。未見のパターンへの一般化や、新規のプロジェクタ・カメラポーズのサポートも確認した。

5. 議論はある?

要旨からは、合成データセットのみで学習しているため、実世界のProCamsシステムへの適用可能性や、ドメインギャップに関する議論は不明。また、Mamba2-Transformerエンコーダの設計選択の詳細や、他のアーキテクチャとの比較も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ProCamsのinverse-rendering法(最適化ベース)とfeed-forward 3D再構成モデルが挙げられる。具体的には、3D Gaussian Splatting (3DGS) や、Mamba、Transformerベースの3D再構成手法が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyao Wang, Yuqi Li, Wenxing Zheng, Jiaying Chen, Chong Wang

分類: cs.CV

原文アブストラクト

Projector-camera (ProCams) systems achieve active scene perception and controllable appearance manipulation via structured illumination, serving as a core infrastructure for spatial augmented reality, projection mapping, and surface reflectance acquisition. Existing inverse-rendering methods for ProCams deliver high-fidelity results but rely on time-consuming per-scene optimization, while mainstream feed-forward 3D reconstruction models produce baked appearance that cannot adapt to spatially varying projector illumination. To resolve this accuracy-efficiency trade-off, we propose FF-ProCams, a Feed-Forward 3D Gaussian inverse-rendering framework for ProCams. A hybrid Mamba2-Transformer encoder aggregates cross-view geometric and photometric cues from sparse multi-view observations, and lightweight heads predict a relightable Gaussian representation in a single forward pass. We further design a projector-aware differentiable renderer to synthesize camera observations under arbitrary active illumination and ProCams poses. To enable feed-forward training, we construct a large-scale synthetic ProCams dataset covering diverse object geometries and surface materials. Experiments show FF-ProCams achieves high-fidelity projector-aware rendering, generalizes to unseen patterns, and supports novel projector-camera poses. Using only 8 input views, it outperforms optimization-based baselines with 297 views while reducing test-time reconstruction to 0.13 seconds (a three-to-five-order-of-magnitude speedup). The code and data are available at https://github.com/CPREgroup/FF-ProCams/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI