日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2607.16926

極端なモーションブラーを伴うスプラットベースの3Dシーン再構成

Splat-based 3D Scene Reconstruction with Extreme Motion-blur

シェア:XThreadsFacebookLINEはてブBluesky

低照度環境で発生する極端なモーションブラーに対処するため、RGB-D入力とガウシアンスプラッティングを用いて、カメラ姿勢推定と画像デブラリングを同時に行う3Dシーン再構成手法を提案した。

詳しい要約

1. どんなもの?

本論文は、RGB-D入力から極端なモーション・ブラーを伴う3Dシーン再構成を行う手法を提案している。低照度環境では露光時間が長くなるためRGBフレームに激しいブラーが生じ、従来のカメラ姿勢推定法(COLMAPなど)が失敗する。提案法は、Gaussian Splattingフレームワークを用いてカメラ姿勢推定と画像デブラリングを統合し、3D Gaussian splatと深度入力を活用してシーンを表現する。まず、オプティカルフローとICPで連続するRGB-Dフレームを位置合わせし、次にGaussianの位置を調整して深度整合を最適化することでカメラ姿勢と3Dジオメトリを精緻化する。モーション・ブラーに対しては、露光中のカメラ移動をモデル化し、入力画像と一連の鮮明なレンダリングフレームを比較してデブラリングを行う。

2. 先行研究と比べてどこがすごい?

先行研究のNeural Radiance FieldsやGaussian Splattingは高品質な再構成を実現するが、正確なカメラ軌道推定に依存しており、高速移動や低照度条件では困難である。また、深度センサの視野が狭く、カメラが速く動くと点群の重なりが減り、ICPによる姿勢推定が制限される。提案法は、Gaussian Splattingをベースに、カメラ姿勢推定とデブラリングを同時に行う点が新しい。さらに、深度入力を活用してGaussianの位置を調整することで、ブラーや姿勢誤差に対して頑健な再構成を実現している。

3. 技術・手法の肝は?

手法の核は、Gaussian Splattingフレームワークにカメラ姿勢推定とデブラリングを統合した点である。具体的には、まずオプティカルフローとICPを用いて連続RGB-Dフレームの初期位置合わせを行う。次に、3D Gaussian splatの位置を調整して深度整合を最適化することで、カメラ姿勢と3Dジオメトリを同時に精緻化する。モーション・ブラーを扱うため、露光中のカメラ移動をモデル化し、入力画像と一連の鮮明なレンダリングフレームを比較してデブラリングを行う。これにより、ブラーを含む入力からでも高品質な3D再構成が可能となる。

4. どうやって有効だと検証した?

極端なモーション・ブラーを含む新しいRGB-Dデータセットを用いて実験を行い、提案手法が既存手法よりも優れていることを示した。具体的な評価指標や比較対象は要旨からは不明だが、高品質な再構成が達成されたと述べられている。

5. 議論はある?

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、ロボティクス、自律ナビゲーション、拡張現実などの3Dマッピング応用への広い含意が述べられている。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Neural Radiance Fields、Gaussian Splatting、COLMAP、ICPアルゴリズムが挙げられる。次に読むべき論文としては、これらの基礎論文や、モーション・ブラーを扱う最近の3D再構成手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyeonjoong Jang, Dongyoung Choi, Donggun Kim, Woohyun Kang, Min H. Kim

分類: cs.CV

原文アブストラクト

We propose a splat-based 3D scene reconstruction method from RGB-D input that effectively handles extreme motion blur, a frequent challenge in low-light environments. Under dim illumination, RGB frames often suffer from severe motion blur due to extended exposure times, causing traditional camera pose estimation methods, such as COLMAP, to fail. This results in inaccurate camera pose and blurry color input, compromising the quality of 3D reconstructions. Although recent 3D reconstruction techniques like Neural Radiance Fields and Gaussian Splatting have demonstrated impressive results, they rely on accurate camera trajectory estimation, which becomes challenging under fast motion or poor lighting conditions. Furthermore, rapid camera movement and the limited field of view of depth sensors reduce point cloud overlap, limiting the effectiveness of pose estimation with the ICP algorithm. To address these issues, we introduce a method that combines camera pose estimation and image deblurring using a Gaussian Splatting framework, leveraging both 3D Gaussian splats and depth inputs for enhanced scene representation. Our method first aligns consecutive RGB-D frames through optical flow and ICP, then refines camera poses and 3D geometry by adjusting Gaussian positions for optimal depth alignment. To handle motion blur, we model camera movement during exposure and deblur images by comparing the input with a series of sharp, rendered frames. Experiments on a new RGB-D dataset with extreme motion blur show that our method outperforms existing approaches, enabling high-quality reconstructions even in challenging conditions. This approach has broad implications for 3D mapping applications in robotics, autonomous navigation, and augmented reality. Both code and dataset are publicly available on https://github.com/KAIST-VCLAB/gs-extreme-motion-blur.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI