発話同期動作生成2026/9/27arXiv:2609.33311

SocialHumanoid: ワンステップ発話同期動作生成による表情豊かなヒューマノイド行動

SocialHumanoid: Towards Expressive Humanoid Behavior via One-Step Co-Speech Motion Generation

発話に同期した感情表現豊かな全身動作をワンステップで生成し、ヒューマノイドロボット上でリアルタイムに実行するシステムを提案。

詳しい要約

1. どんなもの？

- ヒューマノイドロボットが音声に同期し感情表現豊かでリアルタイム実行可能な身体動作を行うためのシステム SocialHumanoid を提案。 - 応答音声と感情条件を与えると、全身モーションウィンドウを1回のforward passで生成し、motion-history conditioningで連続ウィンドウを接続。 - 生成した人間モーションをオンラインでロボット参照に変換し、whole-body controllerで物理実行。 - 感情的身体表現の明示的教師信号として AffectMoCap を導入。2名のプロ俳優から4時間収録し、音声・身体動作・細かい手動作・感情アノテーションを同期。

2. 先行研究と比べてどこがすごい？

- 既存の co-speech 手法は主にデジタルヒューマン向けで、感情制御と低遅延連続生成を物理身体で同時に支える点が欠けていた。 - SocialHumanoid は one-step 生成により、同一プロトコル下で GestureLSM より約6倍高速な推論を実現。 - BEAT2 上で比較生成手法中 best FGD を達成し、speech-motion synchrony も競争力あり。 - AffectMoCap による学習で生成身体動作からの感情認識が向上することを知覚評価で示す。

3. 技術・手法の肝は？

- 応答音声と指定感情条件から、各全身モーションウィンドウを単一forward passで生成する one-step co-speech motion generation。 - 連続ウィンドウは motion-history conditioning で接続し、連続生成を可能にする。 - 生成人間モーションをオンラインで embodiment-compatible robot references に変換し、whole-body controller で追従・物理実行。 - 感情的身体表現の教師として AffectMoCap（音声・身体・手・感情注釈を同期した4時間データセット）を導入。

4. どうやって有効だと検証した？

- BEAT2 上で比較生成手法中 best FGD、競争力ある speech-motion synchrony、同一プロトコルで GestureLSM 比約6倍高速推論を報告。 - 知覚評価により AffectMoCap での学習が生成身体動作からの感情認識を改善することを示す。 - 実ロボット実験で、連続的な感情条件付き行動と安定した long-horizon execution を実証。

5. 議論はある？

- 要旨からは不明（限界・失敗例・倫理的議論・計算資源や汎化性の詳細な議論は記載されていない）。

6. 次に読むべき論文は？

- GestureLSM（同一プロトコルで比較され、推論速度の基準）。 - BEAT2（評価に用いた co-speech motion データセット）。 - AffectMoCap（本論文で導入した感情注釈付きモーションデータセット）。 - 関連分野の定番として co-speech gesture generation、humanoid whole-body control、affective motion generation の代表的文献。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengqun Yang, Tengjie Zhu, Liang Xu, Fulong Liu, Guanzhu Ren, Yitong Xing, Xuefeng Lu, Fei Shi, Siyuan Fan, Weijie Dong, Yao Mu, Xiaokang Yang, Yichao Yan

分類: cs.RO, cs.CV

原文アブストラクト

Humanoid robots are increasingly expected to serve as embodied social agents that communicate naturally with humans through face-to-face interaction. During such communication, humanoid robots require body behaviors that are synchronized with speech, affectively expressive, and suitable for real-time execution. However, existing co-speech methods are primarily developed for digital humans and lack joint support for affective control and low-latency continuous generation on physical embodiments. To bridge this gap, we present SocialHumanoid, a system for expressive humanoid behavior via one-step co-speech motion generation. Given response speech and a specified affective condition, SocialHumanoid generates each full-body motion window in a single forward pass and connects successive windows through motion-history conditioning. The generated human motion is further converted online into embodiment-compatible robot references and tracked by a whole-body controller for physical execution. To provide explicit supervision for affective body expression, we further introduce AffectMoCap, a 4-hour dataset captured from two professional actors, containing synchronized speech, body motion, fine-grained hand motion, and emotion annotations. On BEAT2, SocialHumanoid achieves the best FGD among the compared generation methods, competitive speech-motion synchrony, and approximately $6\times$ faster inference than GestureLSM under the same protocol. Perceptual evaluations further show that training with AffectMoCap improves affect recognition from generated body motion, while real-robot experiments demonstrate continuous affect-conditioned behavior and stable long-horizon execution. Our project page is https://rex0191.github.io/SocialHumanoid/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧