日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成・推定arXiv:2505.01425

GENMO: 人間の動作のための汎用モデル

GENMO: A GENeralist Model for Human MOtion

シェア:XThreadsFacebookLINEはてブBluesky

動作生成と動作推定を単一の枠組みに統合した汎用モデルGENMOを提案。動作推定を制約付き動作生成として再定式化し、回帰と拡散の相乗効果で高精度な推定と多様な生成を両立する。

詳しい要約

1. どんなもの?

- 人間の motion の生成と推定を単一の枠組みで扱う統合モデル GENMO を提案する論文。 - 従来は motion generation と motion estimation を別タスク・別モデルとして扱っていた。 - motion estimation を「観測条件を厳密に満たす制約付き motion generation」として再定式化する。 - regression と diffusion の相乗効果で、正確な global motion estimation と多様な motion generation を両立する。

2. 先行研究と比べてどこがすごい?

- 従来は motion generation と motion estimation が分離され、知識転移が限られ、モデル維持も別々だった。 - GENMO は単一フレームワークで複数の human motion タスクを扱う generalist 化を実現。 - 生成の事前分布が occlusion など困難条件下の推定 motion を改善し、多様な video データが生成能力を高める相乗効果を示す。 - 可変長 motion と、異なる時間区間での text・audio・video の混合 multimodal 条件を扱える点が特徴。

3. 技術・手法の肝は?

- motion estimation を constrained motion generation として再定式化し、出力が観測 conditioning signal を満たすよう制約。 - regression と diffusion を組み合わせ、正確な global motion estimation と多様な生成を両立。 - in-the-wild の 2D annotation 付き video と text description を活用する estimation-guided training objective を導入。 - 可変長 motion と、時間区間ごとに異なる text・audio・video の混合条件を扱う新アーキテクチャ。

4. どうやって有効だと検証した?

- 要旨からは不明(具体的なデータセット名・評価指標・比較手法は記載されていない)。 - 「Extensive experiments」により、単一モデルで複数の human motion タスクを扱う generalist framework としての有効性を示したと述べられている。

5. 議論はある?

- 要旨からは不明(限界・失敗事例・計算コスト・倫理的議論などは記載されていない)。 - 生成と推定の統合による相乗効果(occlusion 下の推定改善、video データによる生成多様性向上)が主張されている。

6. 次に読むべき論文は?

- 要旨からは不明(参照・比較されている個別研究名は記載されていない)。 - 関連手法として、motion generation の diffusion model、motion estimation の regression ベース手法、text/audio/video 条件付き motion generation の代表的研究を挙げて確認するのが妥当。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiefeng Li, Jinkun Cao, Haotian Zhang, Davis Rempe, Jan Kautz, Umar Iqbal, Ye Yuan

分類: cs.GR, cs.AI, cs.CV, cs.LG, cs.RO

原文アブストラクト

Human motion modeling traditionally separates motion generation and estimation into distinct tasks with specialized models. Motion generation models focus on creating diverse, realistic motions from inputs like text, audio, or keyframes, while motion estimation models aim to reconstruct accurate motion trajectories from observations like videos. Despite sharing underlying representations of temporal dynamics and kinematics, this separation limits knowledge transfer between tasks and requires maintaining separate models. We present GENMO, a unified Generalist Model for Human Motion that bridges motion estimation and generation in a single framework. Our key insight is to reformulate motion estimation as constrained motion generation, where the output motion must precisely satisfy observed conditioning signals. Leveraging the synergy between regression and diffusion, GENMO achieves accurate global motion estimation while enabling diverse motion generation. We also introduce an estimation-guided training objective that exploits in-the-wild videos with 2D annotations and text descriptions to enhance generative diversity. Furthermore, our novel architecture handles variable-length motions and mixed multimodal conditions (text, audio, video) at different time intervals, offering flexible control. This unified approach creates synergistic benefits: generative priors improve estimated motions under challenging conditions like occlusions, while diverse video data enhances generation capabilities. Extensive experiments demonstrate GENMO's effectiveness as a generalist framework that successfully handles multiple human motion tasks within a single model.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI