屋内環境のアセット中心メトリック・セマンティックマップ
Asset-Centric Metric-Semantic Maps of Indoor Environments
四足歩行ロボットとRGB-Dカメラで、各物体を詳細メッシュ・カテゴリ・姿勢で表すシーン規模のメトリック・セマンティックマップを構築し、既存手法より高精度かつ高速であることを示した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Christopher D. Hsu, Pratik Chaudhari
分類: cs.RO
原文アブストラクト
Large Language Models (LLMs) can help robots reason about abstract task specifications. This requires augmenting classical representations of the environment used by robots, such as point-clouds and meshes, with natural language-based priors. There are a number of approaches to do so in the existing literature. While some navigation frameworks leverage scene-level semantics at the expense of object-level detail, others such as language-guided neural radiance fields (NeRFs) or segment-anything 3D (SAM3D) prioritize object accuracy over global scene context. This paper argues that we can get the best of both worlds. We use a Unitree Go2 quadruped with a RealSense stereo camera (RGB-D data) to build an explicit metric-semantic representation of indoor environments. This is a scene-scale representation with each object (e.g., chairs, couches, doors, of various shapes and sizes) represented by a detailed mesh, its category, and a pose. We show that this representation is more accurate than foundation-model-based maps such as those built by SAM3D, as well as state-of-the-art scene-level robotics mapping pipelines such as Clio (Maggio et al., 2024). Our implementation is about 25$\times$ faster than SAM3D and is about 10$\times$ slower than Clio. We can also adapt our approach to enable open-set scene-level mapping, i.e., when object meshes are not known a priori, by building upon SAM3D to further improve precision and recall. We show how this representation can be readily used with LLMs such as Google's Gemini to demonstrate scene understanding, complex inferences, and planning. We also display the utility of having these representations for semantic navigation in simulated warehouse and hospital settings using Nvidia's Issac Sim.
関連論文
- ReForesight: 動的セマンティックマッピングのための遮蔽に頑健な再同定と将来占有予測セマンティックマッピング
- 動的オントロジーに基づくセマンティックマッピングのためのハイブリッドパイプラインセマンティックマッピング
- SemanticXR: オブジェクトレベルのデバイス-クラウドアーキテクチャによる低消費電力・リアルタイムなセマンティックマッピングセマンティックマッピング
- 時空間認識に基づく効率的な連続セマンティックマッピングセマンティックマッピング
- ガウススプラッティングを用いた園芸環境の能動的セマンティックマッピングセマンティックマッピング
- SLIM-VDB: リアルタイム3D確率的セマンティックマッピングフレームワークセマンティックマッピング
