日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動作生成arXiv:2604.17807

Re$^2$MoGen: LLM推論と物理認識リファインメントによるオープンボキャブラリ動作生成

Re$^2$MoGen: Open-Vocabulary Motion Generation via LLM Reasoning and Physics-Aware Refinement

シェア:XThreadsFacebookLINEはてブBluesky

テキストから動作を生成する際、訓練データにない未知の記述に対して性能が落ちる問題を解決するため、LLMの推論と強化学習による物理的妥当性の改善を組み合わせたフレームワークを提案した。

詳しい要約

1. どんなもの?

- テキストからモーションを生成するT2M(Text-to-Motion)タスクにおいて、訓練データの分布から外れた記述(open-vocabulary)でも高品質なモーションを生成するフレームワークRe$^2$MoGenを提案。 - LLMの推論能力を強化し、初期モーションプランニングを生成した後、強化学習(RL)によるポストトレーニングで物理的妥当性を洗練させる。 - 3段階の構成:Monte Carlo tree searchによるLLM推論強化、人間ポーズモデルを事前分布とした全身ポーズ最適化と動的テンポラルマッチングによる微調整、物理認識報酬によるRLポストトレーニング。

2. 先行研究と比べてどこがすごい?

- 既存のT2Mモデルは訓練データ内の分布では高性能だが、記述が訓練テキストと大きく異なると性能が著しく低下する問題があった。 - 提案手法はLLM推論と物理認識洗練を組み合わせることで、open-vocabularyモーション生成において最先端性能を達成。 - 意味的一貫性と物理的妥当性を両立させた点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- 第1段階:Monte Carlo tree searchを用いてLLMの推論能力を強化し、テキストプロンプトからルートと複数のキージョイントの位置のみを指定する合理的なキーフレームを生成。 - 第2段階:人間ポーズモデルを事前分布として全身ポーズを最適化し、得られた不完全なモーションで事前学習済みモーション生成器を動的テンポラルマッチング目的関数により微調整し、時空間補完を実現。 - 第3段階:物理認識報酬を用いたポストトレーニングで、LLMが計画したモーションの物理的不整合を除去し品質を洗練。

4. どうやって有効だと検証した?

- 広範な実験により、提案フレームワークが意味的に一貫し物理的に妥当なモーションを生成できることを実証。 - open-vocabularyモーション生成において最先端性能を達成したことを示す。 - 具体的なデータセット名や評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - 物理的妥当性の洗練にRLを用いる点や、LLM推論の強化にMonte Carlo tree searchを用いる点が特徴的だが、それらの一般化可能性や計算コストに関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Text-to-Motion生成の定番であるHumanML3DやKIT Motion-Languageデータセットを用いた研究、LLMを活用したモーション生成(例:MotionGPT)、強化学習によるモーション洗練(例:RL-based motion generation)が次に読むべき候補として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiakun Zheng, Ting Xiao, Shiqin Cao, Xinran Li, Zhe Wang, Chenjia Bai

分類: cs.CV, cs.RO

原文アブストラクト

Text-to-motion (T2M) generation aims to control the behavior of a target character via textual descriptions. Leveraging text-motion paired datasets, existing T2M models have achieved impressive performance in generating high-quality motions within the distribution of their training data. However, their performance deteriorates notably when the motion descriptions differ significantly from the training texts. To address this issue, we propose Re$^2$MoGen, a Reasoning and Refinement open-vocabulary Motion Generation framework that leverages enhanced Large Language Model (LLM) reasoning to generate an initial motion planning and then refine its physical plausibility via reinforcement learning (RL) post-training. Specifically, Re$^2$MoGen consists of three stages: We first employ Monte Carlo tree search to enhance the LLM's reasoning ability in generating reasonable keyframes of the motion based on text prompts, specifying only the root and several key joints' positions to ease the reasoning process. Then, we apply a human pose model as a prior to optimize the full-body poses based on the planned keyframes and use the resulting incomplete motion to supervise fine-tuning a pre-trained motion generator via a dynamic temporal matching objective, enabling spatiotemporal completion. Finally, we use post-training with physics-aware reward to refine motion quality to eliminate physical implausibility in LLM-planned motions. Extensive experiments demonstrate that our framework can generate semantically consistent and physically plausible motions and achieve state-of-the-art performance in open-vocabulary motion generation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI