日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2606.14721

DC-Motion: 離散・連続トークンによる構造と詳細の分離を用いた人間動作生成

DC-Motion: Decoupling Structure and Details via Discrete-Continuous Tokens for Human Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

テキストから人間の動作を生成する際、動作の大まかな構造と細かな動きの両方を表現するため、動作を離散的な構造トークンと連続的な残差潜在変数に分解するフレームワークを提案した。

詳しい要約

1. どんなもの?

- テキストから人間の動作を生成するタスク(Text-to-motion generation)のための新しいフレームワーク。 - 動作を離散的な構造トークンと連続的な残差潜在に分解する。 - 離散トークンが大域的な動作構造を、連続残差が細粒度の動力学を表現する。 - テキスト条件付き構造生成器と拡散ベース残差生成器から構成される。

2. 先行研究と比べてどこがすごい?

- 既存の連続拡散モデルは滑らかな動作を生成するが、時間的計画のための明示的な構成構造を欠く。 - 離散トークン法は制御性を向上させるが、有限のコードブックに動作を圧縮し細粒度の動力学を失う。 - 本手法は表現のミスマッチを解消し、離散と連続の両方の利点を活かす。 - HumanML3DとKIT-MLでFIDとR-Precisionの両方において、代表的な拡散ベースおよび離散トークンベースラインを上回る。

3. 技術・手法の肝は?

- 動作を離散構造トークンと連続残差潜在に因子分解する。 - 離散構造トークンは大域的な動作レイアウトを捉える。 - 連続残差潜在は細粒度の動力学をモデル化する。 - テキスト条件付き構造生成器が反復マスクモデリングにより離散トークンを予測する。 - 拡散ベース残差生成器が構造に条件付けられて連続動作を生成する。

4. どうやって有効だと検証した?

- HumanML3DとKIT-MLデータセットで実験を行った。 - FIDとR-Precisionの両指標で評価した。 - 代表的な拡散ベースおよび離散トークンベースラインと比較し、優れた性能を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:拡散モデル(diffusion models)、ベクトル量子化離散表現(vector-quantized discrete representations)。 - 同分野の定番:HumanML3D、KIT-MLデータセットを用いたテキスト条件付き動作生成手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hequan Wang, Xuean Chen, Jiaxu Zhang, Zhengbo Zhang, Zhigang Tu

分類: cs.GR, cs.CV, cs.RO

原文アブストラクト

Text-to-motion generation requires modeling both global action structure and fine-grained motion dynamics from natural language. Existing approaches typically rely on either continuous diffusion models or vector-quantized discrete representations. Diffusion models generate smooth motions but lack explicit compositional structure for temporal planning, while discrete token-based methods improve controllability but compress motion into finite codebooks, losing fine-grained dynamics. We argue that this limitation stems from a representation mismatch: action semantics such as intent, phase transitions, and temporal layout are inherently discrete and compositional, whereas joint trajectories and motion dynamics are continuous and locally correlated. To address this, we propose DC-Motion, a discrete-continuous factorized framework for human motion generation. DC-Motion decomposes motion into discrete structural tokens capturing global action layout and continuous residual latents modeling fine-grained dynamics. A text-conditioned structure generator predicts discrete tokens via iterative masked modeling, and a diffusion-based residual generator produces continuous motion conditioned on the structure. Experiments on HumanML3D and KIT-ML demonstrate that DC-Motion achieves strong performance in both FID and R-Precision, outperforming representative diffusion-based and discrete-token baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI