類似度を考慮した融合ネットワークによる3Dセマンティックセグメンテーション
Similarity-Aware Fusion Network for 3D Semantic Segmentation
2D画像と3D点群の幾何的・文脈的類似度を学習し、その類似度に基づいて両モダリティの融合度合いを適応的に調整するSAFNetを提案した論文。
著者: Linqing Zhao, Jiwen Lu, Jie Zhou
分類: cs.CV, cs.RO
原文アブストラクト
In this paper, we propose a similarity-aware fusion network (SAFNet) to adaptively fuse 2D images and 3D point clouds for 3D semantic segmentation. Existing fusion-based methods achieve remarkable performances by integrating information from multiple modalities. However, they heavily rely on the correspondence between 2D pixels and 3D points by projection and can only perform the information fusion in a fixed manner, and thus their performances cannot be easily migrated to a more realistic scenario where the collected data often lack strict pair-wise features for prediction. To address this, we employ a late fusion strategy where we first learn the geometric and contextual similarities between the input and back-projected (from 2D pixels) point clouds and utilize them to guide the fusion of two modalities to further exploit complementary information. Specifically, we employ a geometric similarity module (GSM) to directly compare the spatial coordinate distributions of pair-wise 3D neighborhoods, and a contextual similarity module (CSM) to aggregate and compare spatial contextual information of corresponding central points. The two proposed modules can effectively measure how much image features can help predictions, enabling the network to adaptively adjust the contributions of two modalities to the final prediction of each point. Experimental results on the ScanNetV2 benchmark demonstrate that SAFNet significantly outperforms existing state-of-the-art fusion-based approaches across various data integrity.
関連論文
- 不確実性誘導のテスト時最適化によるプライバシー保護型の深度のみのオープンボキャブラリ3Dセマンティックセグメンテーション3Dセマンティックセグメンテーション
- DPGLA:合成データと実データのギャップを埋める3D LiDARセマンティックセグメンテーションのための教師なしドメイン適応3Dセマンティックセグメンテーション
- 重なりを考慮した特徴学習による3Dセマンティックセグメンテーションのための堅牢な教師なしドメイン適応3Dセマンティックセグメンテーション
- 階層的知見:構造的類似性を活用した信頼性の高い3Dセマンティックセグメンテーション3Dセマンティックセグメンテーション
- MoPA: マルチモーダル事前知識を活用した3Dセマンティックセグメンテーションのドメイン適応3Dセマンティックセグメンテーション
- ニューラル暗黙的視覚言語特徴場3Dセマンティックセグメンテーション
