日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2608.00950

Swimm3R: 水中3D再構成のための媒質対応SfMとベータスプラッティング

Swimm3R: Splatting with Medium-aware SfM for Underwater 3D Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

水中環境での散乱や減衰による3D再構成の失敗を解決するため、媒質対応SfMとベータスプラッティングを組み合わせた統一フレームワークを提案し、新たな水中ビデオデータセットで有効性を示した。

詳しい要約

1. どんなもの?

Swimm3Rは、水中3D再構成のための統合フレームワークであり、散乱・減衰による失敗に対処する。medium-aware structure-from-motion (SfM) とUnderwater Beta Splattingを組み合わせ、水中画像形成パラメータ、カメラポーズ、復元された点群を回帰する。また、Betaプリミティブと散乱対応の幾何勾配を用いたUnderwater Beta Splattingを導入し、バルバドス水中ビデオデータセットを新たに構築した。

2. 先行研究と比べてどこがすごい?

先行研究のWaterSplattingと比較して、Swimm3Rは散乱条件下でロバストにシーン構造を復元し、PSNRを1.47dB向上させる。また、下流のローカライゼーション性能をRRA@15とRTA@15でそれぞれ2.0および2.4パーセントポイント向上させる。これは、medium-aware SfMとBeta Splattingの統合によるもので、従来のGaussian splattingの限界を克服している。

3. 技術・手法の肝は?

手法の肝は、in-air幾何学的先行知識をフィードフォワードバックボーンに蒸留し、物理ヘッドで水中画像形成パラメータ、カメラポーズ、復元点群を回帰すること。さらに、Underwater Beta SplattingはBetaプリミティブと散乱対応の幾何勾配を用いて、安定した水中幾何表現を実現する。

4. どうやって有効だと検証した?

バルバドス水中ビデオデータセットを用いて検証した。このデータセットでSwimm3Rは散乱条件下でシーン構造をロバストに復元し、海底形状を一貫して得た。予測点群を用いたUnderwater Beta Splattingは、WaterSplattingと比較して平均PSNRを1.47dB向上させ、ローカライゼーション性能も向上させた。

5. 議論はある?

要旨からは、議論や限界についての詳細は不明。ただし、提案手法は散乱条件下でのロバスト性を示すが、他の環境やデータセットでの汎用性や、計算コスト、実時間性能などについては言及がない。

6. 次に読むべき論文は?

要旨で参照されているWaterSplattingが関連研究として挙げられる。また、medium-aware SfMやGaussian splattingの基礎となる研究(例: 3D Gaussian Splatting)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minseong Kweon, Junaed Sattar

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

We propose Swimm3R, a unified framework that combines medium-aware structure-from-motion (SfM) with Underwater Beta Splatting to address scattering- and attenuation-induced failures in underwater 3D reconstruction. Swimm3R distills in-air geometric priors into a feed-forward backbone and uses a physics head to regress underwater image-formation parameters, camera poses, and restored point clouds. Additionally, we introduce Underwater Beta Splatting, which extends Gaussian splatting with Beta primitives and scattering-aware geometric gradients for stable underwater geometry representation. We further establish the Barbados underwater video dataset to demonstrate the effectiveness of our method in challenging underwater environments. On this dataset, Swimm3R robustly recovers underwater scene structure under challenging scattering conditions, yielding coherent seafloor geometry. Using these predicted point clouds, the proposed Underwater Beta Splatting improves average PSNR by $1.47$ dB over WaterSplatting while increasing downstream localization performance by $2.0$ and $2.4$ percentage points in RRA@15 and RTA@15, respectively.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI