画像を直接操作してロボットに指示を伝えるImageInThat
ImageInThat: Manipulating Images to Convey User Instructions to Robots
画像をタイムライン上で直接操作してロボットへの指示を生成する手法を提案し、テキスト指示より速く好まれることをユーザー研究で示した。
著者: Karthik Mahadevan, Blaine Lewis, Jiannan Li, Bilge Mutlu, Anthony Tang, Tovi Grossman
分類: cs.HC, cs.RO
原文アブストラクト
Foundation models are rapidly improving the capability of robots in performing everyday tasks autonomously such as meal preparation, yet robots will still need to be instructed by humans due to model performance, the difficulty of capturing user preferences, and the need for user agency. Robots can be instructed using various methods-natural language conveys immediate instructions but can be abstract or ambiguous, whereas end-user programming supports longer horizon tasks but interfaces face difficulties in capturing user intent. In this work, we propose using direct manipulation of images as an alternative paradigm to instruct robots, and introduce a specific instantiation called ImageInThat which allows users to perform direct manipulation on images in a timeline-style interface to generate robot instructions. Through a user study, we demonstrate the efficacy of ImageInThat to instruct robots in kitchen manipulation tasks, comparing it to a text-based natural language instruction method. The results show that participants were faster with ImageInThat and preferred to use it over the text-based method. Supplementary material including code can be found at: https://image-in-that.github.io/.
関連論文
- ヒューマノイド抱擁ロボットにおける指の動きがユーザーに与える影響の研究ヒューマンロボットインタラクション
- ロボット支援頭部固定制御のための人-ロボット相互作用ワークスペースの決定ヒューマンロボットインタラクション
- 人間と相互作用する信頼できるフィジカルAIに向けてヒューマンロボットインタラクション
- HINT-Blimp:マルチモーダルな手がかりからの人間意図推定によるロボット飛行船ヒューマンロボットインタラクション
- MIRA: 身体性を備えたコンパニオン向けリアルタイム全二重ヒューマンロボットインタラクションヒューマンロボットインタラクション
- 個々の特性を考慮した支援型ヒューマンロボットインタラクションにおけるエンゲージメントと侵入性の理解ヒューマンロボットインタラクション
