PointGS: 3Dガウススプラッティングを用いた意味的に一貫した教師なし3D点群セグメンテーション
PointGS: Semantic-Consistent Unsupervised 3D Point Cloud Segmentation with 3D Gaussian Splatting
3Dガウススプラッティングを中間表現として用い、2DのSAMセグメンテーション結果を3D点群に蒸留することで、教師なしで意味的に一貫した点群セグメンテーションを実現する手法を提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yixiao Song, Qingyong Li, Wen Wang, Zhicheng Yan
分類: cs.CV, cs.AI
原文アブストラクト
Unsupervised point cloud segmentation is critical for embodied artificial intelligence and autonomous driving, as it mitigates the prohibitive cost of dense point-level annotations required by fully supervised methods. While integrating 2D pre-trained models such as the Segment Anything Model (SAM) to supplement semantic information is a natural choice, this approach faces a fundamental mismatch between discrete 3D points and continuous 2D images. This mismatch leads to inevitable projection overlap and complex modality alignment, resulting in compromised semantic consistency across 2D-3D transfer. To address these limitations, this paper proposes PointGS, a simple yet effective pipeline for unsupervised 3D point cloud segmentation. PointGS leverages 3D Gaussian Splatting as a unified intermediate representation to bridge the discrete-continuous domain gap. Input sparse point clouds are first reconstructed into dense 3D Gaussian spaces via multi-view observations, filling spatial gaps and encoding occlusion relationships to eliminate projection-induced semantic conflation. Multi-view dense images are rendered from the Gaussian space, with 2D semantic masks extracted via SAM, and semantics are distilled to 3D Gaussian primitives through contrastive learning to ensure consistent semantic assignments across different views. The Gaussian space is aligned with the original point cloud via two-step registration, and point semantics are assigned through nearest-neighbor search on labeled Gaussians. Experiments demonstrate that PointGS outperforms state-of-the-art unsupervised methods, achieving +0.9% mIoU on ScanNet-V2 and +2.8% mIoU on S3DIS.
関連論文
- LogoSP: 3D点群の教師なしセマンティックセグメンテーションのためのスーパーポイントの局所-大域グルーピング3D点群セグメンテーション
- 実環境とシミュレーションのループによる3D点群の統合セグメンテーション：パネルから樹木・枝へ3D点群セグメンテーション
- BelHouse3D: 3D点群セマンティックセグメンテーションにおける遮蔽ロバスト性評価のためのベンチマークデータセット3D点群セグメンテーション
- GrowSP: 3D点群の教師なしセマンティックセグメンテーション3D点群セグメンテーション
- ランダムサンプリングによる大規模3D点群の効率的なセマンティックセグメンテーション3D点群セグメンテーション
- SQN: 大規模3D点群の弱教師ありセマンティックセグメンテーション3D点群セグメンテーション
