日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成/自動運転arXiv:2510.24734

DrivingScene: 動的運転シーン向けマルチタスクオンラインフィードフォワード3Dガウシアンスプラッティング

DrivingScene: A Multi-Task Online Feed-Forward 3D Gaussian Splatting Method for Dynamic Driving Scenes

シェア:XThreadsFacebookLINEはてブBluesky

2枚の連続した全方位画像から動的な運転シーンをオンラインで4D再構成するフィードフォワード型3Dガウシアンスプラッティング手法を提案。

詳しい要約

1. どんなもの?

- 動的な運転シーンを対象としたオンライン・フィードフォワード型の4D再構成フレームワーク「DrivingScene」 - 連続する2枚のsurround-view画像のみから4D動的シーンを再構成 - 高品質なdepth、scene flow、3D Gaussian point cloudsをオンラインで同時生成 - 動的物体の非剛体運動をscene flowとして明示的にモデル化 - 静的シーンの学習済みpriorの上に動きを予測する構成

2. 先行研究と比べてどこがすごい?

- 従来手法は品質と効率のバランスに苦慮していた - 複雑なダイナミクスとsparse viewsが課題 - 本手法はimage-onlyの入力で、動的再構成とnovel view synthesisの両方でstate-of-the-artを大幅に上回る - オンラインかつfeed-forwardで動作し、リアルタイム性と高忠実度の両立を狙う点が特徴 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は?

- 軽量なresidual flow networkを導入 - 学習済みの静的シーンpriorの上で、カメラごとに動的物体の非剛体運動を予測 - scene flowによりダイナミクスを明示的にモデル化 - coarse-to-fineの学習パラダイムを採用 - end-to-end手法に共通する不安定性を回避 - 3D Gaussian Splattingに基づく表現を用いる

4. どうやって有効だと検証した?

- nuScenes dataset上で実験 - 動的再構成およびnovel view synthesisの両タスクで評価 - state-of-the-art手法と比較し、大幅な性能向上を確認 - depth、scene flow、3D Gaussian point cloudsを同時に高品質で生成できることを示す - 定量的指標の詳細は要旨からは不明

5. 議論はある?

- end-to-end学習の不安定性をcoarse-to-fineで回避する設計上の議論 - 2枚の連続画像のみというsparseな入力で動的シーンを扱う際の限界 - 静的priorとresidual flowの分離による汎化性や計算効率への影響 - 具体的な失敗事例や定量的な議論は要旨からは不明

6. 次に読むべき論文は?

- 3D Gaussian Splatting(3DGS) - scene flowを用いた動的シーン再構成手法 - nuScenes datasetを用いた運転シーン再構成の先行研究 - feed-forward型のnovel view synthesis手法 - 要旨で参照されている個別のstate-of-the-art手法名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qirui Hou, Wenzhang Sun, Chang Zeng, Chunfeng Wang, Hao Li, Jianxun Cui

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Real-time, high-fidelity reconstruction of dynamic driving scenes is challenged by complex dynamics and sparse views, with prior methods struggling to balance quality and efficiency. We propose DrivingScene, an online, feed-forward framework that reconstructs 4D dynamic scenes from only two consecutive surround-view images. Our key innovation is a lightweight residual flow network that predicts the non-rigid motion of dynamic objects per camera on top of a learned static scene prior, explicitly modeling dynamics via scene flow. We also introduce a coarse-to-fine training paradigm that circumvents the instabilities common to end-to-end approaches. Experiments on nuScenes dataset show our image-only method simultaneously generates high-quality depth, scene flow, and 3D Gaussian point clouds online, significantly outperforming state-of-the-art methods in both dynamic reconstruction and novel view synthesis.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI