日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

透明物体認識arXiv:2511.14970

EGSA-PT: 透明物体の単眼深度推定とセグメンテーションのためのエッジ誘導空間注意と漸進的訓練

EGSA-PT:Edge-Guided Spatial Attention with Progressive Training for Monocular Depth Estimation and Segmentation of Transparent Objects

シェア:XThreadsFacebookLINEはてブBluesky

透明物体の深度推定とセグメンテーションにおいて、境界情報を融合するエッジ誘導空間注意とRGBから深度へのエッジ遷移を段階的に学ぶ訓練戦略を提案し、透明領域での精度を向上させた。

詳しい要約

1. どんなもの?

- 単眼深度推定とセマンティックセグメンテーションを同時に行う透明物体認識のためのマルチタスク学習フレームワーク。 - 提案手法は EGSA-PT と呼ばれ、Edge-Guided Spatial Attention (EGSA) と Progressive Training (PT) の2つを柱とする。 - 透明物体は透明度のため depth estimation と semantic segmentation の両方を困難にする点が背景。

2. 先行研究と比べてどこがすごい?

- 近年の multi-task learning フレームワークは負の cross-task interaction が性能を妨げる問題があった。 - EGSA は境界情報を意味特徴と幾何特徴の fusion に組み込み、破壊的相互作用を緩和する。 - Syn-TODD と ClearPose の両 benchmark で、depth 精度を SOTA の MODEST より一貫して改善しつつ、segmentation 性能も競争力を維持。 - 特に透明領域で最大の改善が見られた。

3. 技術・手法の肝は?

- EGSA: 境界情報を semantic features と geometric features の fusion に取り入れる Edge-Guided Spatial Attention 機構。 - PT: multi-modal progressive training 戦略で、RGB 画像由来の edge から予測 depth 画像由来の edge へ学習を遷移させる。 - RGB の豊富な texture から学習を bootstrap し、その後 depth map の幾何情報へ切り替える。 - これにより訓練時に ground-truth depth を必要としない。

4. どうやって有効だと検証した?

- Syn-TODD と ClearPose の2つの benchmark で評価。 - depth 精度は SOTA の MODEST と比較して一貫した改善を確認。 - segmentation 性能は競争力を維持。 - 改善は特に透明領域で最大となった。

5. 議論はある?

- 透明物体知覚において edge-guided fusion が頑健なアプローチであることを示唆。 - 負の cross-task interaction の緩和が性能向上に寄与する点を議論。 - 訓練時に ground-truth depth を不要にできる点も利点として挙げられる。 - 具体的な限界や失敗事例については要旨からは不明。

6. 次に読むべき論文は?

- MODEST (本論文で比較対象の SOTA 手法) - Syn-TODD (benchmark dataset) - ClearPose (benchmark dataset) - 透明物体の depth estimation / segmentation に関するマルチタスク学習の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gbenga Omotara, Ramy Farag, Seyed Mohamad Ali Tousi, G. N. DeSouza

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Transparent object perception remains a major challenge in computer vision research, as transparency confounds both depth estimation and semantic segmentation. Recent work has explored multi-task learning frameworks to improve robustness, yet negative cross-task interactions often hinder performance. In this work, we introduce Edge-Guided Spatial Attention (EGSA), a fusion mechanism designed to mitigate destructive interactions by incorporating boundary information into the fusion between semantic and geometric features. On both Syn-TODD and ClearPose benchmarks, EGSA consistently improved depth accuracy over the current state of the art method (MODEST), while preserving competitive segmentation performance, with the largest improvements appearing in transparent regions. Besides our fusion design, our second contribution is a multi-modal progressive training strategy, where learning transitions from edges derived from RGB images to edges derived from predicted depth images. This approach allows the system to bootstrap learning from the rich textures contained in RGB images, and then switch to more relevant geometric content in depth maps, while it eliminates the need for ground-truth depth at training time. Together, these contributions highlight edge-guided fusion as a robust approach capable of improving transparent object perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI