日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2609.16011

EMODY Flow: 感情を考慮した音声駆動型全身動作生成

EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

音声と感情ラベルから全身のジェスチャーと表情を生成する軽量フローマッチングフレームワークを提案し、感情の識別性を高める補助分類器で従来の感情無視問題を解決した。

詳しい要約

1. どんなもの?

- 音声駆動の全身運動生成フレームワーク - 身体ジェスチャーと表情を同時に生成 - 感情状態と音声に同期 - 軽量(約35Mパラメータ) - flow-matchingベース - 凍結したQwen-3 Omniに接続 - 2つの並列DiT生成器 - SMPL-X身体ポーズ用 - FLAME表情用 - 感情条件付けの失敗を特定し解決

2. 先行研究と比べてどこがすごい?

- 従来のflow-matchingモデルは感情ラベルを無視 - 音声埋め込みと感情ラベルを与えても - 感情に関わらずほぼ同一の運動を生成 - EMODY Flowは感情感受性を回復 - 訓練時補助感情分類器を導入 - BEAT2で新SOTA - FGD 0.302(26%改善) - Beat Correlation 0.853(5%改善) - Diversity 24.62(62%改善) - TFHPでゼロショット表情アニメーションに転移

3. 技術・手法の肝は?

- flow-matchingフレームワーク - 凍結Qwen-3 Omniに接続 - 内部Mimi audio-codecsを再利用 - 2つの並列DiT生成器 - SMPL-X身体ポーズ生成 - FLAME表情生成 - 訓練時補助感情分類器 - 生成運動が感情識別可能になるよう強制 - 感情感受性を回復

4. どうやって有効だと検証した?

- BEAT2データセットで評価 - ジェスチャー品質指標 - FGD 0.302 - Beat Correlation 0.853 - Diversity 24.62 - 先行最高結果を上回る - TFHPでゼロショット表情アニメーション - ドメイン固有の微調整なし - 多次元尺度構成法分析 - 生成ジェスチャーの感情分離を定性的に実証

5. 議論はある?

- 感情条件付けの失敗を特定 - 弱い条件信号の過小利用 - 離散感情ラベルが抑制される - 補助感情分類器の有効性 - 感情分離運動を生成 - 定性的分析で感情分離を確認 - その他の議論は要旨からは不明

6. 次に読むべき論文は?

- Qwen-3 Omni - Mimi audio-codecs - flow-matchingモデル - DiT - SMPL-X - FLAME - BEAT2 - TFHP - 多次元尺度構成法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harsh Kumar Agarwal, Xavier Alameda-Pineda, Olivier Perrotin

分類: cs.GR, cs.CV, cs.LG, cs.MM, cs.RO, cs.SD, eess.AS

原文アブストラクト

Embodied conversational agents require synchronized full-body motion (body gestures and facial expressions) that aligns with speech and emotional state. Omni-modal large language models excel at multimodal understanding but produce only linguistic outputs, leaving a critical gap in embodied response generation. We identify and address a failure of emotion conditioning: like other conditional generators that under-use weak conditioning signals, a flow-matching model given both a rich audio embedding and a discrete emotion label suppresses the emotion, generating near-identical motion regardless of the specified emotion. We present EMODY Flow, a lightweight (around 35M parameters) flow-matching framework that attaches to a frozen Qwen-3 Omni model and reuses its internal Mimi audio-codecs to condition two parallel DiT generators - one for SMPL-X body pose, one for FLAME facial expressions. A training-time auxiliary emotion classifier restores emotion sensitivity by forcing generated motion to be emotion-identifiable. EMODY Flow sets a new state of the art on BEAT2 gesture quality, with FGD 0.302, Beat Correlation 0.853, and Diversity 24.62 - improving over the best prior results by 26%, 5%, and 62% respectively - and transfers to zero-shot facial animation on TFHP without domain-specific fine-tuning. Beyond these quantitative gains, the classifier yields clearly emotion-separated motion, which we demonstrate qualitatively through a multidimensional-scaling analysis of the generated gestures.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI