ジェスチャーと言語理解を組み合わせた屋内ロボットの認知共有型ナビゲーション
Sharing Cognition: Human Gesture and Natural Language Grounding Based Planning and Navigation for Indoor Robots
人間のジェスチャーと自然言語を組み合わせて空間認識を共有し、屋内ロボットが対話的に目的地へ自律移動するシステムを構築した研究。
著者: Gourav Kumar, Soumyadip Maity, Ruddra dev Roychoudhury, Brojeshwar Bhowmick
分類: cs.RO
原文アブストラクト
Cooperation among humans makes it easy to execute tasks and navigate seamlessly even in unknown scenarios. With our individual knowledge and collective cognition skills, we can reason about and perform well in unforeseen situations and environments. To achieve a similar potential for a robot navigating among humans and interacting with them, it is crucial for it to acquire the ability for easy, efficient and natural ways of communication and cognition sharing with humans. In this work, we aim to exploit human gestures which is known to be the most prominent modality of communication after the speech. We demonstrate how the incorporation of gestures for communicating spatial understanding can be achieved in a very simple yet effective way using a robot having the vision and listening capability. This shows a big advantage over using only Vision and Language-based Navigation, Language Grounding or Human-Robot Interaction in a task requiring the development of cognition and indoor navigation. We adapt the state-of-the-art modules of Language Grounding and Human-Robot Interaction to demonstrate a novel system pipeline in real-world environments on a Telepresence robot for performing a set of challenging tasks. To the best of our knowledge, this is the first pipeline to couple the fields of HRI and language grounding in an indoor environment to demonstrate autonomous navigation.
関連論文
- ロボット言語グラウンディングのサーベイ:記号と埋め込みのトレードオフ言語グラウンディング
- どっち?物体間の文脈と複数視点を活用した言語グラウンディング言語グラウンディング
- 言語グラウンディングにおける信頼:人間とロボットのチームに向けた新たなAI課題言語グラウンディング
- 領域別動的レイヤーアテンションによる層融合を用いた自動運転車のコマンドグラウンディング言語グラウンディング
- 視覚知覚に基づく言語獲得のためのニューラル変分学習言語グラウンディング
- 時間的グラウンディンググラフによる視覚言語文脈を蓄積した言語理解言語グラウンディング
