SemanticXR: オブジェクトレベルのデバイス-クラウドアーキテクチャによる低消費電力・リアルタイムなセマンティックマッピング
SemanticXR: Low Power and Real-time Queryable Semantic Mapping with an Object-Level Device-Cloud Architecture
XRデバイス向けに、オブジェクトを単位としてデバイスとクラウド間で処理を分割することで、低消費電力かつリアルタイムなオープンボキャブラリのセマンティックマッピングとクエリを実現するシステムを提案した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Rahul Singh, Devdeep Ray, Connor Smith, Sarita Adve
分類: cs.DC, cs.CV, cs.RO
原文アブストラクト
Semantic mapping is a core service that enables grounded interactions in emerging Extended Reality (XR) applications such as AI assistants and spatial object search. Deploying this capability on mobile XR devices requires a system that is open-vocabulary, real-time, and low-power. Existing approaches are compute-intensive and assume server-class resources. Cloud offloading offers a practical path, but no existing system splits semantic mapping across the device-cloud boundary or manages its communication, execution, and memory footprint. We present SemanticXR, the first device-cloud system for real-time, open-vocabulary semantic mapping and querying under XR power, bandwidth, and memory constraints. Our key insight is to elevate semantically identifiable objects to first-class units of communication, execution, and memory across the device and server. On the server, object-level parallelism and geometry downsampling improve mapping latency, while object-level depth-mapping co-design reduces upstream bandwidth. On the device, an object-level sparse local map with incremental updates and update prioritization enables network-robust querying with bounded memory and downstream bandwidth. Object-level configurable resource usage vs. quality trade-offs let applications and the system adapt mapping to application requirements and operating conditions, respectively. Against a device-cloud baseline with the same perception models, object-level organization improves server-side mapping latency by 2.2X at equal semantic quality. Depth-mapping co-design maintains upstream bandwidth under 2.5 Mbps. On the device, SemanticXR sustains sub-100 ms query latency for up to 10,000 objects even under network drops, supports tens of thousands of objects within 500 MB, and scales downstream bandwidth with map changes, not total scene size. The system adds only 2% device power during normal operation.
関連論文
- ReForesight: 動的セマンティックマッピングのための遮蔽に頑健な再同定と将来占有予測セマンティックマッピング
- 動的オントロジーに基づくセマンティックマッピングのためのハイブリッドパイプラインセマンティックマッピング
- 時空間認識に基づく効率的な連続セマンティックマッピングセマンティックマッピング
- ガウススプラッティングを用いた園芸環境の能動的セマンティックマッピングセマンティックマッピング
- SLIM-VDB: リアルタイム3D確率的セマンティックマッピングフレームワークセマンティックマッピング
- 屋内環境のアセット中心メトリック・セマンティックマップセマンティックマッピング
