移動ロボットの状況依存マルチモーダル制御:仮想環境を通じたナビゲーション
Situated Multimodal Control of a Mobile Robot: Navigation through a Virtual Environment
音声英語とジェスチャーを組み合わせてTurtleBot3ロボットを誘導する新しいインターフェースを提案し、仮想環境上でナビゲーションタスクを実現した。
著者: Katherine Krajovic, Nikhil Krishnaswamy, Nathaniel J. Dimick, R. Pito Salas, James Pustejovsky
分類: cs.RO, cs.AI, cs.CL
原文アブストラクト
We present a new interface for controlling a navigation robot in novel environments using coordinated gesture and language. We use a TurtleBot3 robot with a LIDAR and a camera, an embodied simulation of what the robot has encountered while exploring, and a cross-platform bridge facilitating generic communication. A human partner can deliver instructions to the robot using spoken English and gestures relative to the simulated environment, to guide the robot through navigation tasks.
関連論文
- 動的音声視覚ナビゲーションのための二段階マルチモーダル学習:物理的整合からシーン集約へマルチモーダルナビゲーション
