DiffPixelFormer: RGB-D屋内シーンセグメンテーションのための差分ピクセル認識Transformer
DiffPixelFormer: Differential Pixel-Aware Transformer for RGB-D Indoor Scene Segmentation
RGBと深度を組み合わせた屋内セマンティックセグメンテーションにおいて、モダリティ内・間の特徴を差分共有モジュールで精密に統合するTransformerを提案し、SUN RGB-DとNYUDv2で高精度を達成した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yan Gong, Jianli Lu, Yongsheng Gao, Jie Zhao, Xiaojuan Zhang, Susanto Rahardja
分類: cs.CV, cs.RO
原文アブストラクト
Indoor semantic segmentation is fundamental to computer vision and robotics, supporting applications such as autonomous navigation, augmented reality, and smart environments. Although RGB-D fusion leverages complementary appearance and geometric cues, existing methods often depend on computationally intensive cross-attention mechanisms and insufficiently model intra- and inter-modal feature relationships, resulting in imprecise feature alignment and limited discriminative representation. To address these challenges, we propose DiffPixelFormer, a differential pixel-aware Transformer for RGB-D indoor scene segmentation that simultaneously enhances intra-modal representations and models inter-modal interactions. At its core, the Intra-Inter Modal Interaction Block (IIMIB) captures intra-modal long-range dependencies via self-attention and models inter-modal interactions with the Differential-Shared Inter-Modal (DSIM) module to disentangle modality-specific and shared cues, enabling fine-grained, pixel-level cross-modal alignment. Furthermore, a dynamic fusion strategy balances modality contributions and fully exploits RGB-D information according to scene characteristics. Extensive experiments on the SUN RGB-D and NYUDv2 benchmarks demonstrate that DiffPixelFormer-L achieves mIoU scores of 54.28% and 59.95%, outperforming DFormer-L by 1.78% and 2.75%, respectively. Code is available at https://github.com/gongyan1/DiffPixelFormer.
関連論文
- 高解像度深度と超低解像度RGBによるプライバシー保護セマンティックセグメンテーションセマンティックセグメンテーション
- CLFTv2: 階層的特徴ピラミッドによる効率的なカメラ-LiDAR融合セマンティックセグメンテーションセマンティックセグメンテーション
- Contextrast++: セマンティックセグメンテーションのためのロバストなマルチスケール文脈対比学習セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:フィールドロボティクスにおける堅牢な屋外シーン理解のためのDINOv3活用セマンティックセグメンテーション
- ICRA 2026 GOOSE 2D細粒度セマンティックセグメンテーションチャレンジ技術報告:屋外シーン理解のためのクエリベースセグメンテーションと空間コンテキスト拡大の探求セマンティックセグメンテーション
- Invascal: 不確実性を考慮したLiDARレンジビューセマンティックセグメンテーションのための逆空孔自己校正セマンティックセグメンテーション
