日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2606.25430

PRISM: 幾何学的ワープ残差モデリングによる単一画像からのフィードフォワード3D再構成

PRISM: Feed-Forward Single-Image 3D Reconstruction via Geometric Warp-Residual Modeling

シェア:XThreadsFacebookLINEはてブBluesky

単一画像から3Dシーンを再構成する際、幾何学的な前方ワープで大部分をカバーし、残りの残差のみを学習するフィードフォワード手法を提案。拡散モデルを使わずに高速で高品質な再構成を実現した。

詳しい要約

1. どんなもの?

- 単一画像から3Dシーンを再構成するフィードフォワードフレームワークPRISMを提案。 - 拡散サンプリング不要で、推論時間を大幅短縮。 - 多視点潜在予測を幾何学的ワープと残差補正に分解。 - 合成データのみで訓練し、実データへ汎化。

2. 先行研究と比べてどこがすごい?

- 従来のカメラ制御ビデオ拡散モデルは反復的な拡散サンプリングに依存し、実用展開を制限。 - PRISMは拡散サンプリングを排除し、推論時間をシーンあたり36秒に短縮。 - 再構成品質は拡散ベース手法と競合するレベルを達成。

3. 技術・手法の肝は?

- 多視点潜在予測をパラメータフリーの幾何学的プライア(forward warping)と学習された残差補正に分解。 - 推論時に拡散サンプリングを必要としないフィードフォワード設計。 - 合成データからの汎化のため、2段階訓練戦略を採用:幾何学的汎化のための潜在教師あり蒸留と、外観品質最適化のための知覚ファインチューニング。

4. どうやって有効だと検証した?

- 3つのベンチマークで広範な実験を実施。 - 拡散ベース手法と比較して競合する再構成品質を示し、推論時間をシーンあたり36秒に短縮。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:camera-controlled video diffusion models。 - 関連手法:geometric forward warping、latents supervised distillation、perceptual fine-tuning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhijie Zheng, Xinhao Xiang, Jiawei Zhang

分類: cs.CV

原文アブストラクト

Reconstructing 3D scenes from a single image is a fundamental challenge in computer vision, with broad applications in virtual reality, robotics, and content creation. Recent methods achieve outstanding performance by leveraging camera-controlled video diffusion models, but rely on iterative diffusion sampling, which greatly limits their practical deployment. We observe that geometric forward warping alone can cover the majority of a target view directly from the input image, with only a compact residual left for the encoder to correct. Motivated by this observation, we propose PRISM, a feed-forward framework that decomposes multi-view latent prediction into a parameter-free geometric prior and a learned residual correction, with no diffusion sampling required at inference. To enable generalization from purely synthetic training data, we devise a two-stage training strategy combining latents supervised distillation for geometric generalization and perceptual fine-tuning for appearance quality optimization. Extensive experiments on three benchmarks demonstrate that PRISM achieves competitive reconstruction quality compared with diffusion-based methods, while reducing inference time dramatically to only 36 seconds per scene.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI