TrackRef3D: 3Dガウススプラッティングにおけるオープンワールド参照セグメンテーションのための多視点一貫トラック・アンド・ラベル手法
TrackRef3D: Multi-View Consistent Track-then-Label for Open-World Referring Segmentation in 3D Gaussian Splatting
3Dガウススプラッティングにおいて、手動アノテーションなしで自然言語によるオブジェクトセグメンテーションを実現する自動パイプラインを提案。物体発見と意味的接地を分離し、軌跡認識型セマンティックコンセンサスモジュールで多視点一貫性を確保する。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yuyang Tan, Renhe Zhang, Hang Zhang, Ao Li, Xin Tan
分類: cs.CV, cs.LG
原文アブストラクト
Referring 3D Gaussian Splatting (R3DGS), which utilizes natural language for 3D object segmentation, has emerged as a crucial capability for embodied AI. However, existing methods typically rely on expensive per-scene manual annotation and per-view pseudo mask generation, which suffer from multi-view inconsistency and poor generalization to varying query specificities. To address this, we present TrackRef3D, a fully automatic pipeline that achieves open-world referring segmentation in 3D Gaussian Splatting (3DGS) without manual annotation by introducing a multi-view consistent track-then-label paradigm that fundamentally decouples object discovery from semantic grounding. Specifically, we propose a Trajectory-Aware Semantic Consensus Module (TSCM) which aggregates cross-view predictions via synonymous clustering and trajectory-aware voting to establish a canonical semantic identity, thereby ensuring multi-view consistency. Furthermore, we employ a visibility-aware description generation strategy to mitigate ambiguity and propose a Hybrid Training Strategy (HTS) that jointly optimizes coarse category semantics and fine-grained referential cues to ensure robustness under varying query specificities using a multi-positive contrastive objective. Extensive experiments on benchmarks demonstrate that TrackRef3D achieves state-of-the-art performance.
関連論文
- Lang3DSeg: 点群トランスフォーマによるアノテーションフリーなオープンボキャブラリ3Dセグメンテーション3Dセグメンテーション
- SplatLabel: 4Dガウシアンスプラッティングによる擬似ラベリング3Dセグメンテーション
- UniPart: 実世界インタラクションのためのゼロショット言語接地3Dパーツセグメンテーション3Dセグメンテーション
- 仮想ドローンを飛ばして3Dガウシアンをオンラインでセグメンテーション3Dセグメンテーション
- EPS3D: エンドツーエンドのフィードフォワード型3Dパノプティックセグメンテーション3Dセグメンテーション
- T-FunS3D: タスク駆動型階層的オープンボキャブラリ3D機能セグメンテーション3Dセグメンテーション
