Gaoussou Youssouf Kebe
収録論文 3本 ・ フィジカルAI/ロボット学習
音声言語接地言語接地マルチモーダル学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 音声から視覚に接地した言語を学ぶ:深層音響表現による新手法音声言語接地2021/12/1
視覚知覚と生の音声入力を用いて、接地言語獲得が可能であることを示した研究。自己教師あり音声表現を活用し、テキスト入力への依存を減らしつつ、特定集団への包摂性を高める。
- 実世界概念の言語接地のための実用的クロスモーダル多様体アライメント言語接地2020/9/1
RGB-D画像と言語記述のトリプレットをサンプリングし、トリプレット損失で言語と視覚の一貫したマルチモーダル埋め込みを学習する手法を提案し、複数の評価指標で既存手法を上回った。
- 接地言語学習のためのマルチモーダルデータセットの提示と分析マルチモーダル学習2020/7/1
家庭内物体を音声・テキストで説明したマルチモーダルデータセットGoLDを構築し、モダリティの違いが言語学習に与える影響を分析した。
