ECHO-G: 音声に同期したヒューマノイド全身動作生成

- ヒューマノイドロボットの全身 co-speech motion を生成するフレームワーク ECHO-G を提案。 - speech audio と timed transcripts を条件とし、robot space で直接生成。 - Speech-Grounded Diffusion Transformer (SGDiT) を中核に、rectified flow matching で学習。 - BEAT2 由来の audio-text-robot dataset と benchmark を構築。 - 実機ヒューマノイドへの展開も実証。

- 従来の human-motion generation と retargeting のパイプラインに対し、robot-space 直接生成が比較評価で支持された。 - modality ablation により audio-text の joint conditioning の利点を確認。 - ビデオ評価研究でも joint conditioning が代替手法より好まれた。 - ただし具体的な先行研究名は要旨からは不明。

- Speech-Grounded Diffusion Transformer (SGDiT) が frame-aligned acoustic features と token-level linguistic context を統合。 - 両者の異なる粒度を保持する設計。 - rectified flow matching で学習し、utterance-motion の one-to-many 関係を robot space で直接モデル化。 - 条件は speech audio と timed transcripts。

- BEAT2 由来の audio-text-robot dataset と benchmark を構築。 - benchmark は co-speech characteristics、robot-motion quality、runtime efficiency をカバー。 - 比較評価で robot-space 直接生成が human-motion generation と retargeting より支持。 - modality ablation で joint audio-text conditioning の利点を確認。 - 実機ヒューマノイドでの展開を実証。 - 補完的な video-rating study でも joint conditioning が好まれた。

- 要旨からは不明。 - ただし、比較評価と ablation の結果から joint conditioning と robot-space 生成の有効性が示唆される。 - 限界や議論の詳細は要旨に記載なし。

- BEAT2 (BEAT2-derived dataset の元) が参照されている。 - 関連手法として human-motion generation と retargeting パイプラインが比較対象。 - その他は要旨からは不明。