GANを用いたマルチモーダル対象・場所分類による家庭内物体取得指示の理解
Understanding Natural Language Instructions for Fetching Daily Objects Using GAN-Based Multimodal Target-Source Classification
家庭用ロボットへの「白い棚から黄色いおもちゃを持ってきて」のような指示を理解するため、言語と視覚の特徴から対象物体と取得場所を領域ごとに予測する分類モデルを提案し、GANによるデータ拡張も統合した。
著者: Aly Magassouba, Komei Sugiura, Anh Trinh Quoc, Hisashi Kawai
分類: cs.RO
原文アブストラクト
In this paper, we address multimodal language understanding for unconstrained fetching instruction in domestic service robots context. A typical fetching instruction such as "Bring me the yellow toy from the white shelf" requires to infer the user intention, that is what object (target) to fetch and from where (source). To solve the task, we propose a Multimodal Target-source Classifier Model (MTCM), which predicts the region-wise likelihood of target and source candidates in the scene. Unlike other methods, MTCM can handle regionwise classification based on linguistic and visual features. We evaluated our approach that outperformed the state-of-the-art method on a standard data set. In addition, we extended MTCM with Generative Adversarial Nets (MTCM-GAN), and enabled simultaneous data augmentation and classification.
関連論文
- 注意分岐付きマルチモーダル対象物・場所分類器による曖昧な指示の理解マルチモーダル指示理解
- 複合現実を用いたマルチモーダル指示表現における時間的依存関係の探究マルチモーダル指示理解
- 曖昧な指示からの運搬・配置タスクのためのマルチモーダル分類器GANマルチモーダル指示理解
