3D再構成/パノプティックセグメンテーション2026/4/1arXiv:2604.10982

Ψ-Map: パノプティック表面統合マップによるReal2Sim転送の実現

{\Psi}-Map: Panoptic Surface Integrated Mapping Enables Real2Sim Transfer

大規模シーン向けに、LiDARデータと2Dガウシアンサーフェルを用いた幾何学的強化と、クエリ誘導型のエンドツーエンドパノプティック学習を統合し、高精度でリアルタイムな3D再構成を実現するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 大規模シーンにおけるopen-vocabulary panoptic reconstructionを目的としたフレームワーク。 - 3D Gaussian Splatting (3DGS) をベースに、幾何精度・panoptic理解・リアルタイム推論を両立。 - LiDARデータを活用したplane-constrained multimodal Gaussian Mixture Models (GMMs) と2D Gaussian surfelsを地図表現として採用。 - query-guided end-to-end learning architectureにより、2D mask featuresを3D空間に持ち上げ、グローバルに一貫したpanoptic理解を実現。 - Precise Tile IntersectionとTop-K Hard Selectionでレンダリングパイプラインを最適化。 - 40 FPS超の推論速度を達成し、ロボット制御ループのリアルタイム要件を満たす。

2. 先行研究と比べてどこがすごい？

- 既存の3DGSベース手法は、大規模シーンで幾何精度・panoptic理解・リアルタイム推論の同時達成が困難。 - 従来の多段階panoptic segmentationパイプラインは誤差蓄積と煩雑なフレーム間関連付けが問題。 - 提案手法はこれらを克服し、幾何・panoptic再構成品質で優位。 - 推論速度40 FPS超を実現し、リアルタイム性で先行研究を上回る。

3. 技術・手法の肝は？

- LiDARデータからplane-constrained multimodal GMMsを構築し、2D Gaussian surfelsで高精度な表面アライメントと連続的幾何監督を実現。 - query-guided end-to-end学習アーキテクチャを設計。 - view frustum内のlocal cross-attention機構により、2D mask featuresを直接3D空間へリフトし、グローバルに一貫したpanoptic理解を達成。 - 高次元意味特徴による計算ボトルネックに対し、Precise Tile IntersectionとTop-K Hard Selection戦略でレンダリングを最適化。

4. どうやって有効だと検証した？

- 実験結果により、大規模シーンで優れた幾何・panoptic再構成品質を達成。 - 推論速度が40 FPSを超え、ロボット制御ループのリアルタイム要件を満たすことを確認。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 3D Gaussian Splatting (3DGS) ベースのpanoptic reconstruction手法。 - 多段階panoptic segmentationパイプライン。 - open-vocabulary panoptic reconstructionに関する研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuan Yu, Yuxuan Xie, Changjian Jiang, Shichao Zhai, Rong Xiong, Yu Zhang, Yue Wang

分類: cs.RO

原文アブストラクト

Open-vocabulary panoptic reconstruction is essential for advanced robotics perception and simulation. However, existing methods based on 3D Gaussian Splatting (3DGS) often struggle to simultaneously achieve geometric accuracy, coherent panoptic understanding, and real-time inference frequency in large-scale scenes. In this paper, we propose a comprehensive framework that integrates geometric reinforcement, end-to-end panoptic learning, and efficient rendering. First, to ensure physical realism in large-scale environments, we leverage LiDAR data to construct plane-constrained multimodal Gaussian Mixture Models (GMMs) and employ 2D Gaussian surfels as the map representation, enabling high-precision surface alignment and continuous geometric supervision. Building upon this, to overcome the error accumulation and cumbersome cross-frame association inherent in traditional multi-stage panoptic segmentation pipelines, we design a query-guided end-to-end learning architecture. By utilizing a local cross-attention mechanism within the view frustum, the system lifts 2D mask features directly into 3D space, achieving globally consistent panoptic understanding. Finally, addressing the computational bottlenecks caused by high-dimensional semantic features, we introduce Precise Tile Intersection and a Top-K Hard Selection strategy to optimize the rendering pipeline. Experimental results demonstrate that our system achieves superior geometric and panoptic reconstruction quality in large-scale scenes while maintaining an inference rate exceeding 40 FPS, meeting the real-time requirements of robotic control loops.

arXivで原文を読む →arXiv概要ページ

← 論文一覧