日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

人型ロボット/動作生成arXiv:2606.19935

PhysDrift: 人型ロボットの共話動作生成における身体性ギャップの橋渡し

PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

人型ロボットの共話動作生成において、人間中心のパイプラインが持つ身体性の不一致を特定し、それを解消するための新しいデータキュレーション手法と身体性を考慮した生成フレームワークを提案した。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットの co-speech motion generation を対象とした研究。 - 既存の human-centric pipeline では SMPL-X 等の human-body representation で生成後に retargeting するため embodiment gap が生じる。 - この gap を特定し、robot-native な生成フレームワーク PhysDrift と、そのためのデータ curation 手法 IK-EER を提案。 - 音声から直接、実行可能な humanoid joint trajectories を予測する。

2. 先行研究と比べてどこがすごい?

- 従来は human motion manifold 上で生成し humanoid へ retargeting するのが主流。 - 本研究は retargeting が coarse な motion semantics は保つが、motion diversity を大きく圧縮し prosody-motion synchronization を弱めることを分析で示す。 - 中間 human-body representation を介さず、training と inference を通じて embodiment consistency を維持する点が新しい。 - physical regularization を組み込み、robot motion dynamics を安定化。

3. 技術・手法の肝は?

- IK-EER: prosody-preserving humanoid motion curation framework。retargeting 時に kinematic feasibility と speech-motion temporal alignment を同時最適化。 - これにより robot-native motion dataset を構築。 - PhysDrift: embodiment-aware co-speech motion generation framework。音声から直接、実行可能な humanoid joint trajectories を予測。 - 中間 human-body representation に依存せず、training/inference で embodiment consistency を保持。 - physical regularization により robot motion dynamics を安定化。

4. どうやって有効だと検証した?

- extensive experiments と real-world humanoid deployment を実施。 - embodiment-aware robot-native generation が speech-motion alignment、physical plausibility、motion smoothness、inference efficiency、real-time interaction capability を大幅に改善することを示す。 - 具体的なデータセット名・評価指標・被験者数などは要旨からは不明。

5. 議論はある?

- embodiment gap の存在と、retargeting が motion diversity と prosody-motion synchronization を損なうことを議論。 - robot-native 生成の有効性を主張するが、限界や失敗事例、計算コストの詳細は要旨からは不明。 - 実世界展開の規模や安全性・汎化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、human-centric co-speech motion generation、SMPL-X、retargeting、humanoid motion generation、prosody-motion synchronization に関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhangzhao Liang, Xiaofen Xing, Mingyue Yang, Wenlve Zhou, Xiangmin Xu

分類: cs.AI

原文アブストラクト

Humanoid robots require co-speech motions that are not only expressive and speech-aligned, but also physically executable under embodiment constraints. Existing co-speech generation pipelines are predominantly human-centric: motions are first generated in human-body representations such as SMPL-X and subsequently retargeted to humanoid robots. In this work, we identify a fundamental embodiment gap in this paradigm, where the mismatch between human motion manifolds and humanoid embodiment constraints disrupts embodiment consistency during motion transfer and physical execution. Through extensive analysis, we show that although retargeting can preserve coarse motion semantics, it significantly compresses motion diversity and weakens prosody-motion synchronization, limiting expressive humanoid behaviors. To address this problem, we first propose IK-EER, a prosody-preserving humanoid motion curation framework that jointly optimizes kinematic feasibility and speech-motion temporal alignment during retargeting. Building upon the curated robot-native motion dataset, we further introduce PhysDrift, an embodiment-aware co-speech motion generation framework that directly predicts executable humanoid joint trajectories from speech without relying on intermediate human-body representations. Unlike conventional human-centric pipelines, PhysDrift maintains embodiment consistency throughout both training and inference while incorporating physical regularization to stabilize robot motion dynamics. Extensive experiments and real-world humanoid deployment demonstrate that embodiment-aware robot-native generation substantially improves speech-motion alignment, physical plausibility, motion smoothness, inference efficiency, and real-time interaction capability.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI