日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2512.22464

姿勢ガイド付き残差リファインメントによる解釈可能なテキストからの動作生成と編集

Pose-Guided Residual Refinement for Interpretable Text-to-Motion Generation and Editing

シェア:XThreadsFacebookLINEはてブBluesky

テキストから動作を生成・編集する際、姿勢コードに残差ベクトル量子化による残差コードを組み合わせることで、解釈可能性を保ちつつ微細な動きの再現精度を向上させた手法を提案。

詳しい要約

1. どんなもの?

- テキストから3Dモーションを生成するタスクと、既存モーションをテキストで編集するタスクの両方を対象とした研究。 - 提案手法は PGR$^2$M (pose-guided residual refinement for motion)。 - 解釈可能な pose code に、RVQ で学習した residual code を組み合わせたハイブリッド表現を採用。 - 生成と編集の両方で FID や reconstruction 指標を改善することを狙う。

2. 先行研究と比べてどこがすごい?

- 先行の pose-code ベース枠組み CoMo は、量子化可能な pose 属性を離散 pose code に写像し解釈可能な制御を可能にした。 - しかし frame-wise 表現のため微妙な時間的ダイナミクスや高周波詳細の捕捉が苦手で、再構成忠実度と局所的な編集可能性が低下しやすい。 - PGR$^2$M は residual code を追加することでこの限界に対処し、CoMo や最近の diffusion 系・tokenization 系ベースラインと比べて生成・編集の FID と reconstruction 指標を改善。 - ユーザスタディで直感的かつ構造を保つ編集が可能と確認。

3. 技術・手法の肝は?

- pose-guided RVQ tokenizer を導入し、モーションを2種類の潜在に分解。 - pose latent: 粗い大域構造を符号化する解釈可能な pose code。 - residual latent: 細粒度の時間変動をモデル化する residual code (RVQ で学習)。 - residual dropout により residual への過依存を抑制し、pose code の意味的整合性と編集可能性を保持。 - 生成は2段構成。 - base Transformer がテキストから pose code を自己回帰的に予測。 - refine Transformer がテキスト・pose code・量子化ステージを条件に residual code を予測。

4. どうやって有効だと検証した?

- HumanML3D と KIT-ML の2データセットで実験。 - 生成と編集の両タスクで FID (Fréchet inception distance) と reconstruction 指標を評価。 - CoMo および最近の diffusion ベース・tokenization ベースのベースラインと比較し改善を報告。 - ユーザスタディを実施し、直感的で構造を保つモーション編集が可能であることを確認。

5. 議論はある?

- 要旨からは不明。 - 明示されているのは、frame-wise な pose code 表現が時間的ダイナミクスや高周波詳細の捕捉に弱いという課題認識と、residual dropout による過依存抑制の設計意図まで。 - 限界や失敗事例、計算コスト、編集時の制約などについての議論は要旨には記載なし。

6. 次に読むべき論文は?

- CoMo (pose-code ベースの比較対象)。 - RVQ (residual vector quantization) 関連の tokenizer 研究。 - 要旨で言及される recent diffusion-based baselines および tokenization-based baselines の代表的手法。 - HumanML3D および KIT-ML を用いた text-to-motion 生成・編集の関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sukhyun Jeong, Yong-Hoon Choi

分類: cs.CV, cs.RO

原文アブストラクト

Text-based 3D motion generation aims to automatically synthesize diverse motions from natural-language descriptions to extend user creativity, whereas motion editing modifies an existing motion sequence in response to text while preserving its overall structure. Pose-code-based frameworks such as CoMo map quantifiable pose attributes into discrete pose codes that support interpretable motion control, but their frame-wise representation struggles to capture subtle temporal dynamics and high-frequency details, often degrading reconstruction fidelity and local controllability. To address this limitation, we introduce pose-guided residual refinement for motion (PGR$^2$M), a hybrid representation that augments interpretable pose codes with residual codes learned via residual vector quantization (RVQ). A pose-guided RVQ tokenizer decomposes motion into pose latents that encode coarse global structure and residual latents that model fine-grained temporal variations. Residual dropout further discourages over-reliance on residuals, preserving the semantic alignment and editability of the pose codes. On top of this tokenizer, a base Transformer autoregressively predicts pose codes from text, and a refine Transformer predicts residual codes conditioned on text, pose codes, and quantization stage. Experiments on HumanML3D and KIT-ML show that PGR$^2$M improves Fr\'echet inception distance and reconstruction metrics for both generation and editing compared with CoMo and recent diffusion- and tokenization-based baselines, while user studies confirm that it enables intuitive, structure-preserving motion edits.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI