日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

深度推定/セグメンテーションarXiv:2607.24249

SILICA: 拡散モデルの事前知識を再利用したガラス領域分割と深度推定の統合

SILICA: Repurposing Diffusion Priors for Joint Glass Segmentation and Depth Estimation

シェア:XThreadsFacebookLINEはてブBluesky

テキストから画像を生成する拡散モデルの事前知識を活用し、ガラスの領域分割と深度推定を同時に行う統一パイプラインを提案。実世界のガラス深度アノテーションを不要とし、ゼロショットで未知環境に一般化できることを示した。

詳しい要約

1. どんなもの?

SILICAは、テキストから画像を生成する拡散モデル(text-to-image diffusion model)の事前知識を活用し、ガラス領域のセグメンテーションとガラス対応の深度推定を同時に行う統一パイプラインを提案する。標準的な深度センサーは透明な表面で失敗するため、ガラス領域の正確な深度を推定し、セグメンテーションマスクを用いてセンサーから得た誤った深度点をフィルタリングすることで、正確なメートル単位のガラス深度を復元し、3Dマッピングや自律衝突回避に役立てる。

2. 先行研究と比べてどこがすごい?

従来のガラス特化の単眼深度推定モデルは、実世界のガラス深度アノテーションが極端に不足しているため、未知の環境へのゼロショット汎化が難しい。また、特殊なハードウェアセンサーはガラスを検出できるが、モジュール性に欠けハードウェア依存が大きい。SILICAは、拡散モデルの豊富な事前知識を利用することで、ペアの実世界ガラス深度アノテーションを一切必要とせず、未知の環境へのゼロショット転移を達成し、既存のSOTAモデルを約20%上回る性能を示した点が優れている。

3. 技術・手法の肝は?

手法の肝は、拡散モデルの事前知識を利用して、ガラスセグメンテーションとガラス対応深度を同時に予測する統一パイプラインを構築した点。セグメンテーションと深度予測の相互情報交換により、堅牢な空間階層を確立し、ペアの実世界ガラス深度アノテーションを不要にした。さらに、予測したセグメンテーションマスクを用いて、標準センサーから得た誤ったガラス深度点を明示的にフィルタリングし、正確なメートル単位のガラス深度を復元する。

4. どうやって有効だと検証した?

新規のMirage 18kデータセットを構築し、多様な未知環境でのゼロショット転移を評価した。実験により、SILICAは既存のSOTAモデルを約20%上回る性能を示し、透明表面知覚の新しいベンチマークを確立した。

5. 議論はある?

要旨からは、拡散モデルの事前知識がガラス知覚に有効であることが示されたが、計算コストや推論速度、実世界の多様なガラス形状や照明条件へのさらなる検証が必要かどうかは不明。また、Mirage 18kデータセットの詳細や、他の透明物体(プラスチックなど)への適用可能性については言及されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ガラス特化の単眼深度推定モデルや、text-to-image diffusion modelを利用した既存研究が挙げられる。具体的には、拡散モデルを視覚タスクに応用した研究(例えば、Depth EstimationやSegmentationへの応用)や、透明物体のセグメンテーション・深度推定に関する既存のデータセット・手法(例:Transparent Object Segmentation, Depth Estimation)を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tarun R, Anuj Verma, Laksh Nanwani, Sourav Garg, K. Madhava Krishna

分類: cs.CV, cs.RO

原文アブストラクト

Standard depth sensors systematically fail on transparent surfaces, creating corrupted 3D maps and severe navigation hazards. While specialized hardware sensors can detect glass, they lack modularity and have extensive hardware dependencies. Consequently, learning-based monocular depth estimation has emerged as a compelling alternative. However, domain-specific glass-aware monocular depth estimators struggle with unfamiliar indoor layouts; restricted by the severe scarcity of real-world glass depth annotations, they fail to generalize zero-shot to new settings. This motivates us to explore whether the extensive priors of text-to-image diffusion models can enable generalizable perception of transparent surfaces. We introduce SILICA, a unified pipeline leveraging these priors to jointly predict glass segmentation and glass-aware depth. This mutual information exchange establishes a robust spatial hierarchy, entirely eliminating the need for paired real-world glass depth annotations. Subsequently, we use the predicted segmentation mask to explicitly filter incorrect glass depth points from standard sensors, recovering accurate metric glass depth for downstream 3D mapping and autonomous collision avoidance. Supported by our novel Mirage 18k dataset, extensive experiments demonstrate that SILICA achieves remarkable zero-shot transfer across diverse, unseen environments, outperforming state-of-the-art models by almost 20% and setting a new benchmark for transparent surface perception.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI