視覚知覚に基づく言語獲得のためのニューラル変分学習
Neural Variational Learning for Grounded Language Acquisition
視覚カテゴリを事前定義せずに、生成モデルで言語と視覚の共有埋め込みを学習し、低リソース・多言語データでも物体の意味予測が可能なことを示した。
著者: Nisha Pillai, Cynthia Matuszek, Francis Ferraro
分類: cs.CL, cs.AI, cs.LG, cs.RO
原文アブストラクト
We propose a learning system in which language is grounded in visual percepts without specific pre-defined categories of terms. We present a unified generative method to acquire a shared semantic/visual embedding that enables the learning of language about a wide range of real-world objects. We evaluate the efficacy of this learning by predicting the semantics of objects and comparing the performance with neural and non-neural inputs. We show that this generative approach exhibits promising results in language grounding without pre-specifying visual categories under low resource settings. Our experiments demonstrate that this approach is generalizable to multilingual, highly varied datasets.
関連論文
- ロボット言語グラウンディングのサーベイ:記号と埋め込みのトレードオフ言語グラウンディング
- どっち?物体間の文脈と複数視点を活用した言語グラウンディング言語グラウンディング
- 言語グラウンディングにおける信頼:人間とロボットのチームに向けた新たなAI課題言語グラウンディング
- 領域別動的レイヤーアテンションによる層融合を用いた自動運転車のコマンドグラウンディング言語グラウンディング
- ジェスチャーと言語理解を組み合わせた屋内ロボットの認知共有型ナビゲーション言語グラウンディング
- 時間的グラウンディンググラフによる視覚言語文脈を蓄積した言語理解言語グラウンディング
