日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

セマンティックセグメンテーションarXiv:2604.11585

GeomPrompt: 欠落・劣化した深度に対するRGB-Dセマンティックセグメンテーションの幾何学的プロンプト学習

GeomPrompt: Geometric Prompt Learning for RGB-D Semantic Segmentation Under Missing and Degraded Depth

シェア:XThreadsFacebookLINEはてブBluesky

深度が欠落・劣化した際に、RGBのみからタスク駆動の幾何学的プロンプトを合成し、凍結したRGB-Dセグメンテーションモデルの性能を回復する軽量なモジュールを提案した。

詳しい要約

1. どんなもの?

- RGB-D semantic segmentation において depth が欠損・劣化する状況に対処する軽量な cross-modal adaptation module を提案。 - GeomPrompt は RGB のみから task-driven geometric prompt を合成し、frozen な RGB-D segmentation model の第4チャネルとして入力。 - GeomPrompt-Recovery は劣化 depth を補償するため、frozen segmenter に有用な第4チャネル補正を予測。 - 両モジュールは下流の segmentation supervision のみで学習され、depth 信号の推定ではなく segmentation に有用な geometric prior を回復する。

2. 先行研究と比べてどこがすごい?

- RGB のみの推論と比較して、SUN RGB-D で DFormer に +6.1 mIoU、GeminiFusion に +3.0 mIoU の改善。 - 強力な monocular depth estimator と競合する性能を維持。 - 劣化 depth に対して GeomPrompt-Recovery が一貫してロバスト性を改善し、深刻な depth corruption 下で最大 +3.6 mIoU の利得。 - monocular depth baseline より大幅に効率的で、latency は 7.8 ms 対 38.3 ms および 71.9 ms。

3. 技術・手法の肝は?

- RGB のみから task-driven geometric prompt を合成し、frozen な RGB-D segmentation model の第4チャネルとして注入する cross-modal adaptation module。 - GeomPrompt-Recovery は劣化 depth に対し、frozen segmenter に関連する第4チャネル補正を予測。 - 学習は下流の segmentation supervision のみを用い、depth supervision を必要としない。 - depth 信号そのものを推定するのではなく、segmentation に有用な geometric prior を回復する点が肝。

4. どうやって有効だと検証した?

- SUN RGB-D データセットで評価。 - DFormer と GeminiFusion という frozen な RGB-D segmentation model に適用。 - RGB-only 推論との比較で mIoU 改善を確認。 - 劣化 depth 条件下で GeomPrompt-Recovery のロバスト性向上を検証。 - monocular depth baseline との効率比較(latency)も実施。

5. 議論はある?

- 要旨からは不明。 - 提案手法は depth 推定ではなく segmentation に有用な geometric prior の回復を目的とする点が議論の焦点となり得るが、具体的な限界や議論は要旨に記載なし。

6. 次に読むべき論文は?

- DFormer - GeminiFusion - monocular depth estimator(具体的な手法名は要旨に記載なし) - SUN RGB-D を用いた RGB-D semantic segmentation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Krishna Jaganathan, Patricio Vela

分類: cs.CV, cs.RO

原文アブストラクト

Multimodal perception systems for robotics and embodied AI often assume reliable RGB-D sensing, but in practice, depth is frequently missing, noisy, or corrupted. We thus present GeomPrompt, a lightweight cross-modal adaptation module that synthesizes a task-driven geometric prompt from RGB alone for the fourth channel of a frozen RGB-D semantic segmentation model, without depth supervision. We further introduce GeomPrompt-Recovery, an adaptation module that compensates for degraded depth by predicting the fourth channel correction relevant for the frozen segmenter. Both modules are trained solely with downstream segmentation supervision, enabling recovery of the geometric prior useful for segmentation, rather than estimating depth signals. On SUN RGB-D, GeomPrompt improves over RGB-only inference by +6.1 mIoU on DFormer and +3.0 mIoU on GeminiFusion, while remaining competitive with strong monocular depth estimators. For degraded depth, GeomPrompt-Recovery consistently improves robustness, yielding gains up to +3.6 mIoU under severe depth corruptions. GeomPrompt is also substantially more efficient than monocular depth baselines, reaching 7.8 ms latency versus 38.3 ms and 71.9 ms. These results suggest that task-driven geometric prompting is an efficient mechanism for cross-modal compensation under missing and degraded depth inputs in RGB-D perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI