日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3D再構成arXiv:2506.03594

SplArt: 3Dガウシアンスプラッティングによる関節物体の関節推定とパーツレベル再構成

SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting

シェア:XThreadsFacebookLINEはてブBluesky

2つの関節状態で撮影したRGB画像から、3Dガウシアンスプラッティングを用いて関節物体の形状・パーツ分割・関節運動を自己教師ありで推定し、リアルタイムなフォトリアル描画を可能にする手法。

詳しい要約

1. どんなもの?

- 日常環境に存在する articulated object を、2 組の posed RGB 画像(異なる articulation state で撮影)から再構成し、kinematics を推定する枠組み - 3D Gaussian Splatting (3DGS) を基盤とし、新規視点・新規 articulation に対する real-time かつ photorealistic な rendering を可能にする - self-supervised かつ category-agnostic なフレームワークで、3D annotation やカテゴリ固有の prior を必要としない - コードは https://github.com/ripl/splart で公開

2. 先行研究と比べてどこがすごい?

- 既存手法の scalability 制約(3D supervision や高コストな annotation を要求)を回避 - robustness 問題(local optima に陥りやすい)に対し、multi-stage optimization で対処 - rendering の短所(速度や photorealistic 性の不足)を 3DGS により改善 - 3D annotation や category-specific prior なしで challenging なシナリオに対応する点が従来と異なる - 詳細な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- 3DGS の各 Gaussian に differentiable な mobility parameter を付与し、refined な part segmentation を実現 - multi-stage optimization strategy により reconstruction、part segmentation、articulation estimation を段階的に処理 - geometric self-supervision を活用し、3D annotation なしでの学習を可能にする - 異なる articulation state で撮影した 2 組の posed RGB 画像を入力とする

4. どうやって有効だと検証した?

- 既存の benchmark と新たに提案する benchmark 上で評価 - handheld RGB camera を用いた real-world scenario への応用も実施 - これらの評価により state-of-the-art performance と実世界での practicality を示した - 個々の比較手法や指標の詳細は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 想定される論点として scalability、robustness、rendering 品質の trade-off が挙げられるが、本文の議論内容は要旨に記載なし

6. 次に読むべき論文は?

- 3D Gaussian Splatting (3DGS) - articulated object の reconstruction および articulation estimation に関する既存手法(具体的な論文名は要旨からは不明) - part segmentation と kinematics 推定を扱う関連研究(具体名は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shengjie Lin, Jiading Fang, Muhammad Zubair Irshad, Vitor Campagnolo Guizilini, Rares Andrei Ambrus, Greg Shakhnarovich, Matthew R. Walter

分類: cs.GR, cs.CV, cs.LG, cs.MM, cs.RO

原文アブストラクト

Reconstructing articulated objects prevalent in daily environments is crucial for applications in augmented/virtual reality and robotics. However, existing methods face scalability limitations (requiring 3D supervision or costly annotations), robustness issues (being susceptible to local optima), and rendering shortcomings (lacking speed or photorealism). We introduce SplArt, a self-supervised, category-agnostic framework that leverages 3D Gaussian Splatting (3DGS) to reconstruct articulated objects and infer kinematics from two sets of posed RGB images captured at different articulation states, enabling real-time photorealistic rendering for novel viewpoints and articulations. SplArt augments 3DGS with a differentiable mobility parameter per Gaussian, achieving refined part segmentation. A multi-stage optimization strategy is employed to progressively handle reconstruction, part segmentation, and articulation estimation, significantly enhancing robustness and accuracy. SplArt exploits geometric self-supervision, effectively addressing challenging scenarios without requiring 3D annotations or category-specific priors. Evaluations on established and newly proposed benchmarks, along with applications to real-world scenarios using a handheld RGB camera, demonstrate SplArt's state-of-the-art performance and real-world practicality. Code is publicly available at https://github.com/ripl/splart.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI