Pepperと軽量Transformer・LLMによる手話認識システム
A Sign Language Recognition System with Pepper, Lightweight-Transformer, and LLM
軽量な深層学習モデルでPepperにアメリカ手話を理解させ、LLMによる自然な応答生成までを統合した非言語ヒューマンロボット対話システムを構築した。
著者: JongYoon Lim, Inkyu Sa, Bruce MacDonald, Ho Seok Ahn
分類: cs.RO, cs.CL, cs.CV, cs.HC
原文アブストラクト
This research explores using lightweight deep neural network architectures to enable the humanoid robot Pepper to understand American Sign Language (ASL) and facilitate non-verbal human-robot interaction. First, we introduce a lightweight and efficient model for ASL understanding optimized for embedded systems, ensuring rapid sign recognition while conserving computational resources. Building upon this, we employ large language models (LLMs) for intelligent robot interactions. Through intricate prompt engineering, we tailor interactions to allow the Pepper Robot to generate natural Co-Speech Gesture responses, laying the foundation for more organic and intuitive humanoid-robot dialogues. Finally, we present an integrated software pipeline, embodying advancements in a socially aware AI interaction model. Leveraging the Pepper Robot's capabilities, we demonstrate the practicality and effectiveness of our approach in real-world scenarios. The results highlight a profound potential for enhancing human-robot interaction through non-verbal interactions, bridging communication gaps, and making technology more accessible and understandable.
関連論文
- ヒューマノイド抱擁ロボットにおける指の動きがユーザーに与える影響の研究ヒューマンロボットインタラクション
- ロボット支援頭部固定制御のための人-ロボット相互作用ワークスペースの決定ヒューマンロボットインタラクション
- 人間と相互作用する信頼できるフィジカルAIに向けてヒューマンロボットインタラクション
- HINT-Blimp:マルチモーダルな手がかりからの人間意図推定によるロボット飛行船ヒューマンロボットインタラクション
- MIRA: 身体性を備えたコンパニオン向けリアルタイム全二重ヒューマンロボットインタラクションヒューマンロボットインタラクション
- 個々の特性を考慮した支援型ヒューマンロボットインタラクションにおけるエンゲージメントと侵入性の理解ヒューマンロボットインタラクション
