日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動的シーン再構成arXiv:2605.10307

PaMoSplat: 部品認識と動作ガイドによる動的シーン再構成のためのガウススプラッティング

PaMoSplat: Part-Aware Motion-Guided Gaussian Splatting for Dynamic Scene Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

動的シーン再構成のための新しいガウススプラッティングフレームワークを提案し、部品認識とオプティカルフローによる動作推定を統合して、高品質なレンダリングと正確なトラッキングを実現した。

詳しい要約

1. どんなもの?

- 動的シーン再構成のための新しいGaussian Splattingフレームワーク - 部品認識と運動事前分布を組み込む - 高忠実度レンダリングと正確なトラッキングを実現 - 大規模で複雑な運動に対応

2. 先行研究と比べてどこがすごい?

- 既存の3DGSベース手法と比較して - レンダリング品質、トラッキング精度、収束速度で優れる - 部品レベルの下流アプリケーション(4Dシーン編集など)を可能に

3. 技術・手法の肝は?

- 多視点セグメンテーションマスクをグラフクラスタリングで3Dに持ち上げ、一貫したGaussian部品を初期化 - 微分進化アルゴリズムで多視点オプティカルフローから部品の剛体運動を推定し、最適化のウォームスタートを提供 - 適応的イテレーション数機構、内部学習可能剛性、フロー教師付きレンダリング損失を導入

4. どうやって有効だと検証した?

- 多様なシーン(実世界環境を含む)での包括的評価 - レンダリング品質、トラッキング精度、収束速度の比較 - 部品レベルの下流アプリケーション(4Dシーン編集)の実現

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) ベースの動的シーン再構成手法 - オプティカルフローを利用した運動推定手法 - グラフクラスタリングを用いたセグメンテーション手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yinan Deng, Jianyu Dou, Jiahui Wang, Jingyu Zhao, Yi Yang, Yufeng Yue

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Dynamic scene reconstruction represents a fundamental yet demanding challenge in computer vision and robotics. While recent progress in 3DGS-based methods has advanced dynamic scene modeling, obtaining high-fidelity rendering and accurate tracking in scenarios with substantial, intricate motions remains significantly challenging. To address these challenges, we propose PaMoSplat, a novel dynamic Gaussian splatting framework incorporating part awareness and motion priors. Our approach is grounded in two key observations: 1) Parts serve as primitives for scene deformation, and 2) Motion cues from optical flow can effectively guide part motion. Specifically, PaMoSplat initializes by lifting multi-view segmentation masks into 3D space via graph clustering, establishing coherent Gaussian parts. For subsequent timestamps, we leverage a differential evolutionary algorithm to estimate the rigid motion of these parts using multi-view optical flow cues, providing a robust warm-start for further optimization. Additionally, PaMoSplat introduces an adaptive iteration count mechanism, internal learnable rigidity, and flow-supervised rendering loss to accelerate and optimize the training process. Comprehensive evaluations across diverse scenes, including real-world environments, demonstrate that PaMoSplat delivers superior rendering quality, improved tracking precision, and faster convergence compared to existing methods. Furthermore, it enables multiple part-level downstream applications, such as 4D scene editing.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI