日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

3Dシーン理解arXiv:2507.17661

マスク付きリカレントネットワークによる単眼セマンティックシーン補完

Monocular Semantic Scene Completion via Masked Recurrent Networks

シェア:XThreadsFacebookLINEはてブBluesky

単眼RGB画像からボクセル単位の占有と意味カテゴリを予測するMSSCを、粗い予測とマスク付きリカレントネットワークの2段階に分解し、屋内・屋外両方で最先端性能を達成した研究。

詳しい要約

1. どんなもの?

- Monocular Semantic Scene Completion (MSSC) とは - 単一視点の RGB 画像から voxel 単位の occupancy と semantic category を予測するタスク - 本論文が提案するもの - 二段階フレームワーク MonoMRN - 第一段階で coarse MSSC を行い、第二段階で Masked Recurrent Network により精緻化 - 対象 - 屋内 (NYUv2) と屋外 (SemanticKITTI) の両シーン - 公開 - source code を公開

2. 先行研究と比べてどこがすごい?

- 既存手法の枠組み - 単一ステージで可視領域の segmentation と遮蔽領域の hallucination を同時に学習 - 不正確な depth estimation の影響を受ける - 既存手法の課題 - 特に複雑なシーンで性能が不十分になりやすい - 提案手法の違い - MSSC を coarse MSSC と Masked Recurrent Network の二段階に分解 - mask 更新機構で occupied 領域に集中 - sparse GRU で計算コストを削減 - distance attention projection で投影誤差を低減 - 結果 - NYUv2 と SemanticKITTI で state-of-the-art を達成

3. 技術・手法の肝は?

- 全体構成 - 二段階フレームワーク MonoMRN - 第一段階: coarse MSSC - 第二段階: Masked Recurrent Network による精緻化 - Masked Sparse Gated Recurrent Unit (MS-GRU) - mask 更新機構により occupied 領域に集中 - sparse GRU 設計で計算コストを削減 - distance attention projection - 観測表面からの距離に応じて attention score を変える - 投影誤差を低減 - 詳細なネットワーク構成や学習損失は要旨からは不明

4. どうやって有効だと検証した?

- データセット - 屋内: NYUv2 - 屋外: SemanticKITTI - 性能評価 - 両データセットで state-of-the-art を達成 - 単一の unified framework が屋内・屋外の両方を支えることを示す - 頑健性評価 - 各種 disturbance 下での robustness analysis を実施 - Masked Recurrent Network が disturbance への resilience を高める役割を強調 - 具体的な指標や比較手法の詳細は要旨からは不明

5. 議論はある?

- 主張 - 二段階分解により複雑シーンでの性能劣化を緩和 - mask 更新機構と sparse GRU が occupied 領域への集中と計算コスト削減に寄与 - distance attention projection が投影誤差を低減 - Masked Recurrent Network が disturbance への resilience を向上 - 限界や課題 - 具体的な limitation の議論は要旨からは不明 - depth estimation 誤差への依存度や計算コストの定量評価は要旨からは不明

6. 次に読むべき論文は?

- 本論文で参照/比較されている関連研究 - 既存の単一ステージ MSSC 手法 (具体的名称は要旨からは不明) - 関連手法として読むべきもの - Monocular Semantic Scene Completion の先行研究 - Gated Recurrent Unit (GRU) を用いた recurrent な scene completion 手法 - distance-aware な projection / attention を用いる手法 - NYUv2 や SemanticKITTI を用いた scene completion のベースライン研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuzhi Wang, Xinran Wu, Song Wang, Lingdong Kong, Ziping Zhao

分類: cs.CV, cs.RO

原文アブストラクト

Monocular Semantic Scene Completion (MSSC) aims to predict the voxel-wise occupancy and semantic category from a single-view RGB image. Existing methods adopt a single-stage framework that aims to simultaneously achieve visible region segmentation and occluded region hallucination, while also being affected by inaccurate depth estimation. Such methods often achieve suboptimal performance, especially in complex scenes. We propose a novel two-stage framework that decomposes MSSC into coarse MSSC followed by the Masked Recurrent Network. Specifically, we propose the Masked Sparse Gated Recurrent Unit (MS-GRU) which concentrates on the occupied regions by the proposed mask updating mechanism, and a sparse GRU design is proposed to reduce the computation cost. Additionally, we propose the distance attention projection to reduce projection errors by assigning different attention scores according to the distance to the observed surface. Experimental results demonstrate that our proposed unified framework, MonoMRN, effectively supports both indoor and outdoor scenes and achieves state-of-the-art performance on the NYUv2 and SemanticKITTI datasets. Furthermore, we conduct robustness analysis under various disturbances, highlighting the role of the Masked Recurrent Network in enhancing the model's resilience to such challenges. The source code is publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI