日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2607.08808

StereoSplat+:拡散支援型プログレッシブ推論によるフィードフォワードステレオガウシアンスプラッティング

StereoSplat+: Feed-Forward Stereo Gaussian Splatting with Diffusion-Assisted Progressive Inference

シェア:XThreadsFacebookLINEはてブBluesky

単一のステレオペアから高品質な3Dガウシアンシーンを再構成するため、フィードフォワード推定器と拡散モデルによる反復的な視点補完を組み合わせた手法を提案した。

詳しい要約

1. どんなもの?

StereoSplat+は、単一のステレオペアから3D Gaussian Splatting (3DGS)シーンを因果的に再構成するための拡散強化フィードフォワードフレームワークです。可変数のポーズ付きステレオペアを入力として高品質な3D Gaussiansを予測するStereoSplatと、推論時に単一のステレオペアから開始し、予測された3DGSから新しいステレオビューをレンダリングし、ワンステップ拡散エンハンサーで洗練してフィードバックする拡散強化プログレッシブ推論スキームを組み合わせます。オンデバイスのロボティクスやAR設定での単一ステレオリグによるセンシングを想定し、オクルージョンや限られた視野、欠落したジオメトリに対処します。

2. 先行研究と比べてどこがすごい?

既存の3DGSパイプラインの多くは、十分なカバレッジのために多視点観測や非因果的な将来フレームへのアクセスを必要としますが、StereoSplat+は単一のステレオペアからの因果的再構成を可能にします。また、最近のフィードフォワード3DGSベースラインと比較して、特にオクルージョン領域や強い視点外挿下での新規ビュー合成品質とジオメトリ精度を向上させます。入力不変のフィードフォワード推定器と拡散支援のプログレッシブ推論を組み合わせた点が新しいです。

3. 技術・手法の肝は?

手法の肝は2つの主要コンポーネントです。第一に、StereoSplatは、コストボリュームブランチとトリプレーンに基づく3Dボリュームブランチを介して相補的な幾何学的手がかりを融合し、連続ポーズエンコーディングを利用してビュー数やカメラ構成を一般化する入力不変のフィードフォワード3D Gaussian推定器です。第二に、StereoSplat+は、単一のステレオペアから開始し、予測された3DGSから新しいステレオビューをレンダリングし、ワンステップ拡散エンハンサーでそれらを洗練し、追加入力としてフィードバックして3DGSを更新する拡散強化ワンショットプログレッシブ推論スキームです。

4. どうやって有効だと検証した?

KITTI-360データセットで実験を行い、StereoSplat+が新規ビュー合成品質とジオメトリ精度を向上させることを示しました。特にオクルージョン領域と強い視点外挿下で、最近のフィードフォワード3DGSベースラインを上回る性能を確認しました。

5. 議論はある?

要旨からは、単一ステレオペアからの再構成は依然としてオクルージョンや限られた視野、欠落したジオメトリのために困難であると述べられていますが、具体的な限界や将来の方向性については言及されていません。また、拡散エンハンサーのワンステップ推論の品質や計算コストに関する議論も要旨には含まれていません。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、3D Gaussian Splatting (3DGS)の基礎論文や、最近のフィードフォワード3DGSベースラインが挙げられます。具体的には、KITTI-360データセットを使用しているため、KITTI-360の元論文や、フィードフォワード3DGSの代表的な手法(例:pixelSplat、MVSplatなど)が関連します。ただし、要旨に明示的な参照がないため、同分野の定番としてこれらの一般名を挙げます。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zihua Liu, Masatoshi Okutomi

分類: cs.CV

原文アブストラクト

Recent advances in 3D Gaussian Splatting (3DGS) have enabled high-quality, render-ready scene representations for novel-view synthesis. However, most existing 3DGS pipelines rely on multi-view observations (or non-causal access to future frames) to achieve sufficient coverage, which is often unavailable in on-device robotics and AR settings where sensing is restricted to a single stereo rig. Recovering a high-quality 3DGS scene from one stereo observation, therefore, remains challenging due to occlusions, limited field of view, and missing geometry. We present StereoSplat+, a diffusion-enhanced feed-forward framework that enables causal reconstruction from a single stereo pair. Our method builds on two key components. First, we propose StereoSplat, an input-invariant feed-forward 3D Gaussian estimator that takes a variable number of posed stereo pairs as input and predicts high-quality 3D Gaussians. StereoSplat fuses complementary geometry cues via a cost-volume branch and a triplane-based 3D volume branch and leverages continuous pose encoding to generalize across view counts and camera configurations. Second, since multiple posed stereo pairs are typically unavailable at inference time, we introduce a diffusion-enhanced one-shot progressive inference scheme called StereoSplat+: starting from one stereo pair, we render novel stereo views from the predicted 3DGS, refine them with a one-step diffusion enhancer, and feed them back as additional inputs to update the 3DGS. Experiments on the KITTI-360 dataset show that StereoSplat+ improves novel-view rendering quality and geometry accuracy, especially in occluded regions and under strong view extrapolation, outperforming recent feed-forward 3DGS baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI