日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2606.30638

2D検出器を用いた3Dガウシアンのオープンボキャブラリおよび参照セグメンテーション

Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors

シェア:XThreadsFacebookLINEはてブBluesky

3Dガウシアンスプラッティングのシーン表現に、2D物体検出器のセマンティック投票を集約してインスタンス特徴を学習し、言語クエリによるオープンボキャブラリ・参照セグメンテーションを実現する手法を提案した。

詳しい要約

1. どんなもの?

- 3D Gaussian Splatting (3DGS) に言語駆動の open-vocabulary 理解を拡張する手法 GaussDet を提案。 - 2D の open-vocabulary 物体検出器と referring expression 機能を活用し、CLIP 特徴の蒸留を不要に。 - 各 Gaussian に instance feature を学習させ、3D instance group に分解。 - 多視点 2D 検出から意味投票を集約し、View-Aggregated Semantic Label Distribution (VASD) を生成。 - open-vocabulary segmentation と referring expression grounding をゼロショットで実現。

2. 先行研究と比べてどこがすごい?

- 従来法は instance feature を学習し CLIP 特徴を蒸留するが、instance 数が固定必要または bottom-up グループ化のノイズに悩む。 - CLIP 依存のため simple noun phrase に限定され、複雑な spatial reasoning や referential expression grounding が困難。 - GaussDet は discrete な 2D 検出器を用いることで dense CLIP 特徴を不要にし、複雑な参照表現にも対応。 - view-aggregation により低品質な instance grouping による誤ラベルを減衰。 - ゼロショット設定で referential grounding の mIoU を 16.7% 改善。

3. 技術・手法の肝は?

- 個々の Gaussian に instance feature を学習させ、シーンを 3D instance group に分解。 - 各グループをレンダリングし、多視点 2D 検出から意味投票を集約。 - 集約結果として View-Aggregated Semantic Label Distribution (VASD) を各 3D instance に生成。 - view-aggregation 戦略が正則化として機能し、誤ったラベルを抑制。 - 2D 検出器の open-vocabulary 能力と referring expression 機能を直接利用。

4. どうやって有効だと検証した?

- open-vocabulary segmentation (LeRF-OVS, ScanNet) と referring expression grounding (Ref-LeRF) の2タスクで評価。 - 既存手法と比較し一貫した改善を確認。 - 特に referential grounding では厳密なゼロショット設定で 16.7% の mIoU 向上を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: CLIP 特徴蒸留を用いる既存の 3DGS 言語理解手法。 - 関連手法: 3D Gaussian Splatting (3DGS), Contrastive Language-Image Pretraining (CLIP), open-vocabulary 2D object detectors。 - データセット: LeRF-OVS, ScanNet, Ref-LeRF。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jameel Hassan, Yasiru Ranasinghe, Vishal Patel

分類: cs.CV

原文アブストラクト

3D Gaussian Splatting (3DGS) has emerged at the forefront of 3D scene reconstruction. Extending 3DGS with language-driven, open-vocabulary understanding has gained significant attention for real-world applications such as embodied AI. Recent methods achieve this by learning an instance feature attribute and assigning semantics by distilling high-dimensional Contrastive Language-Image Pretraining (CLIP) features directly into the scene representation. However, the instance grouping mechanisms of these methods either require a predefined number of instances or suffer from noise in their bottom-up grouping strategies. Furthermore, the reliance on CLIP restricts semantic understanding to simple noun phrases, preventing complex spatial reasoning and referential expression grounding. We present GaussDet, a method that circumvents the need for dense CLIP features by leveraging discrete, open-vocabulary 2D object detectors with referring expression capabilities. We learn instance features for individual Gaussians to decompose the scene into 3D instance groups. By rendering these groups and aggregating semantic votes from multi-view 2D detections, we generate a robust View-Aggregated Semantic Label Distribution (VASD) for each 3D instance. This view-aggregation strategy acts as a strong regularizer, attenuating spurious labels caused by low-quality instance grouping. Our approach enables a straightforward, zero-shot extension from simple language queries to complex referential grounding. Extensive evaluations across two key tasks -- open-vocabulary segmentation (LeRF-OVS, ScanNet) and referring expression grounding (Ref-LeRF) -- demonstrate that GaussDet achieves consistent improvements over existing methods. Most notably, we achieve a substantial 16.7% mIoU improvement in referential grounding within a strict zero-shot setting.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI