日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構築arXiv:2603.26638

ドライブスルーでの車両外観3D再構築:動的シーンSfMと歪み対応ガウシアンスプラッティング

Drive-Through 3D Vehicle Exterior Reconstruction via Dynamic-Scene SfM and Distortion-Aware Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

ディーラーのドライブスルーで動く車両を、動的背景やレンズ歪み、反射に対応したパイプラインで高精細に3D再構築する手法を提案した。

詳しい要約

1. どんなもの?

- 車両外装の高忠実度3D再構成を目的とした研究 - ディーラーdrive-throughの雑然とした環境で撮影 - 動く車両と静的で clutter な背景が混在 - 広角レンズ歪み、鏡面塗装、非剛体の車輪回転が課題 - 2本柱のカメラリグによるend-to-endパイプラインを提案 - 出力はinspection-gradeの対話型3Dモデル

2. 先行研究と比べてどこがすごい?

- 静的シーンのphotogrammetryとは異なり動的車両に対応 - 古典的epipolar制約を破る非剛体車輪を明示的にマスク - 標準3D-GS比でPSNR 3.85 dB改善 - 制御されたスタジオ設備なしで実現 - 歪み画像上で直接対応点抽出する点が従来と異なる - 要旨からは他の先行研究との詳細比較は不明

3. 技術・手法の肝は?

- 2本柱カメラリグを利用 - SAM 3によるinstance segmentationとmotion-gatingで動的車両を分離 - 非剛体車輪をマスクし厳密なepipolar幾何を強制 - RoMa v2学習済みmatcherで生の歪み4K画像から対応点抽出 - 意味的信頼度マスクで誘導 - rig-aware SfM最適化にCAD由来の相対姿勢priorを統合しscale driftを除去 - distortion-aware 3D Gaussian Splatting (3DGUT)とMCMC densificationで反射面を描画

4. どうやって有効だと検証した?

- 10ディーラー、25実車両で評価 - held-out viewsでPSNR 28.66 dB、SSIM 0.89、LPIPS 0.21 - 標準3D-GS比でPSNR 3.85 dB改善 - 制御スタジオ設備なしでinspection-gradeモデルを実現 - 要旨からは他のベースラインとの比較詳細は不明

5. 議論はある?

- 動的シーン、歪み、鏡面、非剛体車輪という複合課題に対処 - 実環境での有効性を示すが、限界や失敗事例は要旨からは不明 - 計算コストやリアルタイム性の議論は要旨からは不明 - 一般化可能性や他物体への適用は要旨からは不明

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3D-GS) - SAM 3 - RoMa v2 - 3DGUT - MCMC densification - 関連するdynamic-scene SfMやdistortion-aware再構成手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Nitin Kulkarni, Akhil Devarashetti, Charlie Cluss, Livio Forte, Philip Schneider, Chunming Qiao, Alina Vereshchaka

分類: cs.CV, cs.RO

原文アブストラクト

High-fidelity 3D reconstruction of vehicle exteriors improves buyer confidence in online automotive marketplaces, but generating these models in cluttered dealership drive-throughs presents severe technical challenges. Unlike static-scene photogrammetry, this setting features a dynamic vehicle moving against heavily cluttered, static backgrounds. This problem is further compounded by wide-angle lens distortion, specular automotive paint, and non-rigid wheel rotations that violate classical epipolar constraints. We propose an end-to-end pipeline utilizing a two-pillar camera rig. First, we resolve dynamic-scene ambiguities by coupling SAM 3 for instance segmentation with motion-gating to cleanly isolate the moving vehicle, explicitly masking out non-rigid wheels to enforce strict epipolar geometry. Second, we extract robust correspondences directly on raw, distorted 4K imagery using the RoMa v2 learned matcher guided by semantic confidence masks. Third, these matches are integrated into a rig-aware SfM optimization that utilizes CAD-derived relative pose priors to eliminate scale drift. Finally, we use a distortion-aware 3D Gaussian Splatting framework (3DGUT) coupled with a stochastic Markov Chain Monte Carlo (MCMC) densification strategy to render reflective surfaces. Evaluations on 25 real-world vehicles across 10 dealerships demonstrate that our full pipeline achieves a PSNR of 28.66 dB, an SSIM of 0.89, and an LPIPS of 0.21 on held-out views, representing a 3.85 dB improvement over standard 3D-GS, delivering inspection-grade interactive 3D models without controlled studio infrastructure.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI