日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2609.34190

MotionSpaceFlow: 直接動作空間における表現認識型フローマッチング

MotionSpaceFlow: Representation-Aware Flow Matching in Direct Motion Space

シェア:XThreadsFacebookLINEはてブBluesky

学習済みエンコーダ・デコーダを使わず、連続動作空間で直接クリーンな動作を予測するフローマッチング手法を提案し、テキストからの動作生成で最先端性能を達成した。

詳しい要約

1. どんなもの?

- テキスト駆動の人間モーション生成のための新しいフレームワーク MotionSpaceFlow (MSFlow) を提案。 - 低次元の時間的にダウンサンプリングされた潜在空間ではなく、連続的なモーション空間で直接クリーンモーションを予測する。 - 学習されたエンコーダやデコーダを必要としない。 - 異方性構造を考慮した表現認識ノイズスケーリングを導入。 - Representation-Aware Multimodal Diffusion Transformer (RA-MMDiT) を提案。 - テキストからモーションへの生成において最先端性能を達成。 - グローバル表現変種では、制御条件付き訓練なしでゼロショットの推論時制御を可能にする。

2. 先行研究と比べてどこがすごい?

- 従来の拡散・フローモデルは、主に再構成のために学習された低次元で時間的にダウンサンプリングされた潜在空間で生成を行うため、生成品質が制限され、個々のフレームや関節の直接操作ができないというボトルネックがあった。 - MSFlow は学習されたエンコーダ/デコーダを必要とせず、連続モーション空間で直接予測することでこのボトルネックを解消。 - 異なるデータセットとモーション表現で最先端のテキスト・トゥ・モーション性能を達成。 - グローバル表現変種では、制御条件付き訓練なしでゼロショットの推論時制御を実現し、正確な制約満足を伴う高品質なモーションを生成。

3. 技術・手法の肝は?

- 表現認識フローマッチングフレームワーク:連続モーション空間で直接クリーンモーションを予測。 - 表現認識ノイズスケーリング:直接モーション表現の異方性構造を考慮し、初期ガウス源のスケールが中間確率パスマージナルの共分散を制御することを示す。 - Representation-Aware Multimodal Diffusion Transformer (RA-MMDiT):トークンレベルの言語特徴とフル解像度のモーショ特徴をジョイントアテンションで同時更新。 - モーション表現に応じて時間情報フローを適応:フレーム間変化で定義されるインクリメンタル特徴には因果的アテンション、絶対関節座標などのグローバル特徴には双方向アテンション。 - グローバル表現変種では、プロジェクションサンプリングにより任意の関節やフレームに対するゼロショット推論時制御を可能にする。

4. どうやって有効だと検証した?

- 異なるデータセットとモーション表現にわたって評価。 - テキスト・トゥ・モーション性能で最先端を達成。 - グローバル表現変種では、制御条件付き訓練なしでゼロショット推論時制御を実現し、正確な制約満足を伴うリーディングなモーション品質を提供。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、拡散モデル、フローマッチング、Multimodal Diffusion Transformer (MMDiT) などが挙げられる。 - 同分野の定番として、テキスト駆動モーション生成のための拡散モデルやフローモデル、潜在空間での生成手法が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qing Yu, Kent Fujiwara

分類: cs.CV

原文アブストラクト

Recent advances in diffusion and flow models have substantially improved text-driven human motion generation. Yet most methods generate in low-dimensional, temporally downsampled latent spaces learned primarily for reconstruction, a bottleneck that can limit generation quality and preclude direct manipulation of individual frames and joints. We introduce MotionSpaceFlow (MSFlow), a representation-aware flow-matching framework that predicts clean motion directly in continuous motion space without a learned encoder or decoder. To account for the anisotropic structure of direct motion representations, we propose representation-aware noise scaling and show how the initial Gaussian source scale governs the covariance of intermediate probability-path marginals. We further introduce a Representation-Aware Multimodal Diffusion Transformer (RA-MMDiT), which jointly updates token-level language and full-resolution motion features through joint attention while adapting temporal information flow to the motion representation: causal attention for incremental features defined by frame-to-frame changes, and bidirectional attention for global features such as absolute joint coordinates. Across different datasets and motion representations, MSFlow achieves state-of-the-art text-to-motion performance. Its global representation variant additionally enables zero-shot, inference-time control over any joint or frame through projection sampling without control-conditioned training, delivering leading motion quality with exact constraint satisfaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI