屋内ナビゲーションのための空間意味論を捉える物体埋め込みの学習
Learning Embeddings that Capture Spatial Semantics for Indoor Navigation
事前学習済み言語モデルと多関係知識ベースを用いて物体の空間的意味論を埋め込み、未知の屋内環境で目的物体を探索するナビゲーション手法を提案し、AI2Thorで成功率とSPLを評価した。
著者: Vidhi Jain, Prakhar Agarwal, Shishir Patil, Katia Sycara
分類: cs.RO, cs.AI
原文アブストラクト
Incorporating domain-specific priors in search and navigation tasks has shown promising results in improving generalization and sample complexity over end-to-end trained policies. In this work, we study how object embeddings that capture spatial semantic priors can guide search and navigation tasks in a structured environment. We know that humans can search for an object like a book, or a plate in an unseen house, based on the spatial semantics of bigger objects detected. For example, a book is likely to be on a bookshelf or a table, whereas a plate is likely to be in a cupboard or dishwasher. We propose a method to incorporate such spatial semantic awareness in robots by leveraging pre-trained language models and multi-relational knowledge bases as object embeddings. We demonstrate using these object embeddings to search a query object in an unseen indoor environment. We measure the performance of these embeddings in an indoor simulator (AI2Thor). We further evaluate different pre-trained embedding onSuccess Rate(SR) and success weighted by Path Length(SPL).
関連論文
- FlatLands: 単一視点からの生成的フロアマップ補完屋内ナビゲーション
- 長すぎず短すぎず:屋内ナビゲーションにおける音声経路説明の長さの影響屋内ナビゲーション
- AIと機械学習によるモバイル組み込みシステムの屋内測位とナビゲーション屋内ナビゲーション
- AINS: 単眼カメラとライン色識別による低コスト屋内ナビゲーション屋内ナビゲーション
- デジタルツイン強化型屋内無線ナビゲーション:ゼロショット強化学習による効率的な環境センシング屋内ナビゲーション
- スマートフォン慣性センサと地図マッチングによる屋内ナビゲーション屋内ナビゲーション
