日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2606.21135

Odoriko: 身体形状を考慮したマルチモーダル拡散による人間動作生成フレームワーク

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

シェア:XThreadsFacebookLINEはてブBluesky

性別や体型などの身体形状情報を動作生成に直接反映する、テキスト・音楽・動画を統合した初のマルチモーダル動作生成フレームワークを提案した。

詳しい要約

1. どんなもの?

- 統合マルチモーダル動作生成フレームワーク Odoriko を提案。 - text, music, video の各条件から人間動作を生成。 - 被験者の gender や body shape などの bio-morphological 情報を生成動作に反映。 - 形態情報が無い場合は動作と同時に形態を推定し、推定と生成を統合。

2. 先行研究と比べてどこがすごい?

- 従来の統合マルチモーダル動作生成は被験者を形態的に等価とみなし、形態差を無視。 - Odoriko は初の統合マルチモーダル枠組みで、被験者の bio-morphological 情報を合成動作に直接反映。 - 形態情報が無い場合も推定と生成を単一枠組みで統合する点が新しい。

3. 技術・手法の肝は?

- 拡散モデルに基づく shape-aware なマルチモーダル動作生成。 - text, music, video を単一モデルで扱う統合設計。 - 形態情報を条件または同時推定対象として扱い、動作生成に反映。 - 詳細なアーキテクチャや損失は要旨からは不明。

4. どうやって有効だと検証した?

- text-to-motion, music-to-dance, video-to-motion のベンチマークで広範に実験。 - 標準指標で既存の専門モデルと同等以上。 - 既存統合枠組みでは不可能な morphology-consistent 生成を実現。

5. 議論はある?

- 形態差を無視する従来統合枠組みの限界を指摘。 - 形態情報が無い場合の推定と生成の統合を主張。 - 限界や失敗例、計算コスト、倫理的議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の関連手法として text-to-motion, music-to-dance, video-to-motion の各専門モデルや diffusion-based motion generation を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongseok Shim, Julian Tanke, Kengo Uchida, Christian Simon, Koichi Saito, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji

分類: cs.CV, cs.GR, cs.RO

原文アブストラクト

Human motion generation has been widely studied across diverse input modalities, text, music, and video, and recent efforts have unified these into single multimodal frameworks. However, while morphological factors such as gender and body shape are known to produce distinct kinematic signatures, no existing unified framework incorporates this into generation, treating all subjects as morphologically equivalent. We present Odoriko, the first unified multimodal motion generation framework that reflects subject bio-morphological information directly in synthesized motion output. Rather than averaging over subject variation, Odoriko generates motion that is consistent with who is moving, not just what they are asked to do, across text, music, and video conditions within a single model. When explicit morphological information is unavailable, Odoriko additionally recovers subject morphology alongside motion, unifying estimation and generation in one framework. Extensive experiments across text-to-motion, music-to-dance, and video-to-motion benchmarks demonstrate that Odoriko matches or exceeds prior specialized models on standard metrics, while enabling morphology-consistent generation that no existing unified framework supports.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI