日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチモーダルHRIarXiv:1909.08161

人間とロボットの対話のためのマルチモーダル継続スタイルアーキテクチャ

Multimodal Continuation-style Architectures for Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

ジェスチャーと音声を統合したマルチモーダル入力に対し、継続渡しスタイルの非決定性プッシュダウンオートマトンで逐次的に意図を理解し、必要に応じて質問しながら対話を進めるアーキテクチャを提案した論文。

著者: Nikhil Krishnaswamy, James Pustejovsky

分類: cs.HC, cs.AI, cs.RO

原文アブストラクト

We present an architecture for integrating real-time, multimodal input into a computational agent's contextual model. Using a human-avatar interaction in a virtual world, we treat aligned gesture and speech as an ensemble where content may be communicated by either modality. With a modified nondeterministic pushdown automaton architecture, the computer system: (1) consumes input incrementally using continuation-passing style until it achieves sufficient understanding the user's aim; (2) constructs and asks questions where necessary using established contextual information; and (3) maintains track of prior discourse items using multimodal cues. This type of architecture supports special cases of pushdown and finite state automata as well as integrating outputs from machine learning models. We present examples of this architecture's use in multimodal one-shot learning interactions of novel gestures and live action composition.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI