日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マッピングarXiv:2609.29157

OREN-X: 実時間マルチモーダルマッピングのための八分木残差ネットワーク

OREN-X: Octree Residual Network for Real-Time Multi-Modal Mapping

シェア:XThreadsFacebookLINEはてブBluesky

八分木を共有データ構造として幾何・放射・視覚言語特徴を統合的にマッピングし、リアルタイム性能と精度を向上させる手法を提案。

詳しい要約

1. どんなもの?

- 3D空間のoctreeを共有データ構造として、geometry・radiance・vision-language情報を統合的にマッピングするオンライン手法OREN-Xを提案。 - 各モダリティを明示的/暗黙的、完全/圧縮形式で効率的に統合保存・検索できる。 - リアルタイム性能を持ち、SDFは80+fps、4モダリティ全てで30+fpsを達成。

2. 先行研究と比べてどこがすごい?

- 既存手法は各モダリティを個別に表現・推定するため、メモリと計算コストが増大し、表現間の相乗効果を活かせない。 - OREN-Xは統合表現によりクロスモダリティ相乗効果を実現し、SDF推定がoccupancyとradianceで鋭くなる。 - Replicaで単一モダリティベースライン比で近表面SDF精度33%向上、最良先行手法比でopen-vocabulary 3D mIoU 71%向上、平均精度61%向上。

3. 技術・手法の肝は?

- 3D octreeを共有データ構造としてマルチモーダルフィールドをインデックス化・保存。 - GPUベースのray-octree traversalとoctree queryによりリアルタイムレンダリングを実現。 - online dictionary learningでvision-language特徴を圧縮し、完全per-vertex保存比3.7倍縮小しつつクエリ精度を向上。

4. どうやって有効だと検証した?

- Replicaデータセットで評価。 - リアルタイム性能(SDF 80+fps、全4モダリティ30+fps)を確認。 - 近表面SDF精度が単一モダリティベースライン比33%向上。 - open-vocabulary 3D mIoUが最良先行手法比71%向上、平均精度61%向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてReplicaデータセットを用いたマッピング研究や、open-vocabulary 3D mapping、SDFベースのリアルタイムマッピング手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhirui Dai, Qihao Qian, Dinh Minh Nguyen, Quan-Dung Pham, Kiana Bronder, Carlos Nieto-Granda, Yiyu Chen, Quan Nguyen, Nikolay Atanasov

分類: cs.RO

原文アブストラクト

To achieve general-purpose autonomy over long horizons, a robot needs to maintain spatial environment information that supports a variety of tasks: geometry for planning and control, radiance for rendering and relocalization, and vision-language features for open-vocabulary grounding. Existing methods represent and estimate each modality separately, multiplying memory and compute cost while forgoing potential synergy among the representations. We develop OREN-X, an online mapping method that uses an octree in 3D space as a shared data structure for indexing and storing a multi-modal field, capturing geometric, radiance, and vision-language information. OREN-X provides efficient unified storage and retrieval of these data in explicit/implicit and full/compressed form. Our unified representation yields cross-modality synergy: SDF estimates are sharpened by occupancy and radiance, while GPU-based ray-octree traversal and octree query enable real-time rendering. We also use online dictionary learning to compress the vision-language features, shrinking them 3.7x below full per-vertex storage while raising the query accuracy. On Replica, OREN-X maps in real time (80+ fps for SDF and 30+ fps for all four modalities), improves near-surface SDF accuracy by 33% over single-modality baselines, and improves mean open-vocabulary 3D mIoU by 71% and mean accuracy by 61% over the best prior method.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI