音声・感情・動作を統合するVLMベースのヒューマノイドロボット向けエッジ展開可能なマルチモーダルフレームワーク
Bridging Speech, Emotion, and Motion: a VLM-based Multimodal Edge-deployable Framework for Humanoid Robots
VLMを基盤に、音声・表情・ジェスチャーを感情的に一貫させて生成するフレームワークSeM²を提案し、知識蒸留によりエッジ上でも95%の性能を維持するSeM²_eを実装した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Songhua Yang, Xuetao Li, Xuanye Fei, Mengde Li, Miao Li
分類: cs.RO, cs.AI
原文アブストラクト
Effective human-robot interaction requires emotionally rich multimodal expressions, yet most humanoid robots lack coordinated speech, facial expressions, and gestures. Meanwhile, real-world deployment demands on-device solutions that can operate autonomously without continuous cloud connectivity. To bridging \underline{\textit{S}}peech, \underline{\textit{E}}motion, and \underline{\textit{M}}otion, we present \textit{SeM$^2$}, a Vision Language Model-based framework that orchestrates emotionally coherent multimodal interactions through three key components: a multimodal perception module capturing user contextual cues, a Chain-of-Thought reasoning for response planning, and a novel Semantic-Sequence Aligning Mechanism (SSAM) that ensures precise temporal coordination between verbal content and physical expressions. We implement both cloud-based and \underline{\textit{e}}dge-deployed versions (\textit{SeM$^2_e$}), with the latter knowledge distilled to operate efficiently on edge hardware while maintaining 95\% of the relative performance. Comprehensive evaluations demonstrate that our approach significantly outperforms unimodal baselines in naturalness, emotional clarity, and modal coherence, advancing socially expressive humanoid robotics for diverse real-world environments.
関連論文
- 教えて見せて:複数モダリティを統合してロボットに操作タスクを伝えるマルチモーダルHRI
- タスク指向マルチモーダル協調作業のためのエンドツーエンド人間シミュレータマルチモーダルHRI
- 人間とロボットの対話のためのマルチモーダル継続スタイルアーキテクチャマルチモーダルHRI
- 介助入浴ロボットのためのマルチモーダル信号処理と学習による人間-ロボットインタラクションマルチモーダルHRI
