日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2609.37495

MotionMaestro: 統一された動作生成のためのマスク付きトークン化

MotionMaestro: Masked Tokenization for Unified Motion Generation

シェア:XThreadsFacebookLINEはてブBluesky

多様な動作条件をマスキング戦略として統一的に扱い、マスク付き動作トークン化と条件付きフローマッチング生成器でテキスト・ポーズ・軌道制御などの動作生成タスクを単一フレームワークで実現した。

詳しい要約

1. どんなもの?

- 人間のmotion generationを単一の枠組みで扱う統合フレームワーク。 - text-to-motion、pose-conditioned generation、trajectory controlなど異なる条件タスクを、motion sequence上の異なるobservation pattern(masking strategy)として定式化。 - masked motion tokenizationにより、完全なmotionと異種の部分観測の共有表現を学習。 - 三段的学習戦略を採用。 - text-guided/unconditional synthesis、pose conditioning、partial completion、temporal interpolation、trajectory control、motion continuationをサポート。

2. 先行研究と比べてどこがすごい?

- 既存手法は個別タスク向けに開発されることが多く、統合フレームワークが欠けていた。 - 多様な条件を共通表現で扱うことでmotion generationシステムを大幅に簡素化できる点が利点。 - 異なる条件を異なるmasking strategyとして自然に定式化する着想が新規。 - 大規模RoMoとMotionMillionデータセットで多様なmotion generationタスクにおいてstate-of-the-art性能を達成。

3. 技術・手法の肝は?

- masked motion tokenizationにより完全motionと異種部分観測の共有表現を学習。 - 三段階学習:まずmasked motion tokenizerを学習、次にclean motionで再構成能力を洗練、最後に学習済みlatent spaceでconditional flow-matching generatorを訓練。 - observation mapとobservation lossを導入し、生成中に与えられたmotion条件を明示的に保持。 - この統合表現とconditioning機構により多様なタスクを単一モデルで実現。

4. どうやって有効だと検証した?

- 大規模RoMoおよびMotionMillionデータセットで実験。 - 多様なmotion generationタスクにおいてstate-of-the-art性能を示すと報告。 - 具体的な評価指標やベースライン比較の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法としてtext-to-motion、pose-conditioned generation、trajectory control、masked motion tokenization、conditional flow-matching、RoMo、MotionMillionが挙げられる。 - 同分野の定番としてHumanML3D、MotionDiffuse、MDMなどが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yun Chen, Munchurl Kim, Jeonghyeok Do

分類: cs.CV

原文アブストラクト

Human motion generation plays an important role in applications such as character animation, virtual environments, and embodied interaction. While existing approaches have achieved remarkable progress, many of them are developed for individual tasks, including text-to-motion, pose-conditioned generation, and trajectory control. Although these tasks involve different types of conditions, a unified framework capable of handling them within a common representation would greatly simplify motion generation systems. We observe that diverse motion conditions can be naturally formulated as different observation patterns over motion sequences, where each task corresponds to a specific masking strategy. Based on this insight, we introduce MotionMaestro, a unified motion generation framework that learns a shared representation for complete motions and heterogeneous partial observations through masked motion tokenization. MotionMaestro employs a three-stage training strategy that first learns a masked motion tokenizer, then refines its reconstruction ability on clean motions, and finally trains a conditional flow-matching generator in the learned latent space. Furthermore, we introduce an observation map and an observation loss to explicitly preserve provided motion conditions during generation. With this unified representation and conditioning mechanism, MotionMaestro supports text-guided and unconditional synthesis, pose conditioning and partial completion, temporal interpolation, trajectory control, and motion continuation. Experiments on the large-scale RoMo and MotionMillion datasets show state-of-the-art performance across diverse motion generation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI