日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2511.13047

DiffPixelFormer: RGB-D屋内シーンセグメンテーションのための差分ピクセル認識Transformer

DiffPixelFormer: Differential Pixel-Aware Transformer for RGB-D Indoor Scene Segmentation

シェア:XThreadsFacebookLINEはてブBluesky

RGBと深度を組み合わせた屋内セマンティックセグメンテーションにおいて、モダリティ内・間の特徴を差分共有モジュールで精密に統合するTransformerを提案し、SUN RGB-DとNYUDv2で高精度を達成した。

詳しい要約

1. どんなもの?

- RGB-D 屋内シーンセマンティックセグメンテーション向けの Transformer モデル - 正式名は DiffPixelFormer(Differential Pixel-Aware Transformer) - 自律ナビゲーション・AR・スマート環境などの応用を想定 - 屋内セグメンテーションの基盤技術として位置づけられる

2. 先行研究と比べてどこがすごい?

- 既存手法は計算コストの高い cross-attention に依存しがち - 既存手法は intra-modal / inter-modal の特徴関係のモデリングが不十分 - その結果、特徴アライメントが不正確で識別表現が限定的という課題 - 提案手法は intra-modal 表現の強化と inter-modal 相互作用のモデリングを同時に行う - SUN RGB-D と NYUDv2 で DFormer-L を上回る(mIoU で +1.78%、+2.75%)

3. 技術・手法の肝は?

- 中核は Intra-Inter Modal Interaction Block(IIMIB) - IIMIB は self-attention で intra-modal の長距離依存を捉える - Differential-Shared Inter-Modal(DSIM)モジュールで inter-modal 相互作用をモデル化 - DSIM は modality-specific な手がかりと shared な手がかりを分離(disentangle) - これにより fine-grained な pixel-level の cross-modal alignment を実現 - dynamic fusion strategy でモダリティ寄与をバランスし RGB-D 情報を活用

4. どうやって有効だと検証した?

- SUN RGB-D と NYUDv2 のベンチマークで広範な実験を実施 - DiffPixelFormer-L が mIoU 54.28%(SUN RGB-D)を達成 - DiffPixelFormer-L が mIoU 59.95%(NYUDv2)を達成 - DFormer-L と比較してそれぞれ 1.78%、2.75% 上回ることを示した - コードは https://github.com/gongyan1/DiffPixelFormer で公開

5. 議論はある?

- 要旨からは不明(本文での限界や失敗ケースの議論は記述なし) - 計算コストや cross-attention 依存の課題を動機として挙げているが、提案手法の計算量比較は要旨からは不明 - dynamic fusion strategy の詳細な挙動や寄与の分析は要旨からは不明

6. 次に読むべき論文は?

- DFormer(DFormer-L、比較対象として明示) - RGB-D セマンティックセグメンテーションの cross-attention ベース手法(一般名) - SUN RGB-D / NYUDv2 を用いる屋内セグメンテーション研究(一般名) - Transformer ベースの RGB-D fusion 手法(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yan Gong, Jianli Lu, Yongsheng Gao, Jie Zhao, Xiaojuan Zhang, Susanto Rahardja

分類: cs.CV, cs.RO

原文アブストラクト

Indoor semantic segmentation is fundamental to computer vision and robotics, supporting applications such as autonomous navigation, augmented reality, and smart environments. Although RGB-D fusion leverages complementary appearance and geometric cues, existing methods often depend on computationally intensive cross-attention mechanisms and insufficiently model intra- and inter-modal feature relationships, resulting in imprecise feature alignment and limited discriminative representation. To address these challenges, we propose DiffPixelFormer, a differential pixel-aware Transformer for RGB-D indoor scene segmentation that simultaneously enhances intra-modal representations and models inter-modal interactions. At its core, the Intra-Inter Modal Interaction Block (IIMIB) captures intra-modal long-range dependencies via self-attention and models inter-modal interactions with the Differential-Shared Inter-Modal (DSIM) module to disentangle modality-specific and shared cues, enabling fine-grained, pixel-level cross-modal alignment. Furthermore, a dynamic fusion strategy balances modality contributions and fully exploits RGB-D information according to scene characteristics. Extensive experiments on the SUN RGB-D and NYUDv2 benchmarks demonstrate that DiffPixelFormer-L achieves mIoU scores of 54.28% and 59.95%, outperforming DFormer-L by 1.78% and 2.75%, respectively. Code is available at https://github.com/gongyan1/DiffPixelFormer.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI