動作合成2026/6/1arXiv:2606.26981

文脈内モデル予測生成：言語モデルから物理へのオープンボキャブラリ動作合成

In-Context Model Predictive Generation: Open-Vocabulary Motion Synthesis from Language Models to Physics

テキスト記述から人間の動作を合成する際に、言語モデルの意味理解と物理シミュレーションの現実性を統合したフレームワークICMPGを提案し、オープンボキャブラリの指示に対して物理的に妥当な動作を生成する。

詳しい要約

1. どんなもの？

- テキスト指示から人間の動作を合成する新フレームワーク ICMPG を提案。 - LLM による言語計画と推論時の物理フィードバックを統合。 - 動作合成を Model Predictive Control (MPC) 風の閉ループ過程として再定式化。 - 2 モジュール構成: Context-Aware Motion Generation (CAMG) と Model Predictive Generation (MPG)。 - 意味忠実性と物理的リアリズムのトレードオフ緩和を狙う。

2. 先行研究と比べてどこがすごい？

- LLM ベース手法は多様な open-vocabulary 指示を解釈し高レベル計画を組めるが物理制約違反が多い。 - 物理考慮モデルは simulation/control でリアリズムを改善するが意味的複雑さ・細粒度指示・新概念が苦手。 - ICMPG は両者を統合し、タスク固有の policy 再学習なしで意味と物理の両立を目指す。 - 標準および zero-shot open-vocabulary 設定で代表的ベースラインより物理的妥当性・意味忠実性が高いと報告。

3. 技術・手法の肝は？

- CAMG: LLM を planner として使いテキスト命令を分解し、motion tokens から候補動作列を生成。 - MPG: 候補を物理 simulation と意味的整合性で評価し、composite reward を推定。 - 最良系列を選択し、その後の生成ステップを導く閉ループ refinement を実施。 - open-loop と異なり入力意味と simulated physical environment の両方に適応。 - 異なる LLM backbone を組み込める柔軟性を持つ。

4. どうやって有効だと検証した？

- 標準設定と zero-shot open-vocabulary 設定で広範な実験を実施。 - 多様なコマンドへの汎化を確認。 - 評価ベンチマーク上で代表的ベースラインより物理的妥当性・意味忠実性が高いと報告。 - 詳細な評価指標・データセット名は要旨からは不明。

5. 議論はある？

- 意味解釈と物理 simulation を橋渡しする点を強調。 - 異なる LLM backbone を組み込める柔軟性に言及。 - より多用途で制御可能なテキスト駆動動作合成を可能にすると主張。 - 限界・失敗事例・計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として LLM-based motion synthesis、physics-aware motion models、Model Predictive Control (MPC)、motion tokens を挙げる。 - 同分野の定番として text-to-motion synthesis、human motion generation、physics-based character animation を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaomeng Fu, Junfan Lin, Yang Liu, Yaowei Wang, Guanbin Li, Liang Lin, Ziliang Chen

分類: cs.RO, cs.AI

原文アブストラクト

Synthesizing human motion from textual descriptions is essential for immersive digital applications, yet existing methods face a persistent trade-off between semantic fidelity and physical realism. Large language model (LLM)-based approaches can interpret diverse open-vocabulary instructions and compose high-level action plans, but they often generate motions that violate physical constraints. Physics-aware models improve realism through simulation or control, but they struggle with semantic complexity, fine-grained instructions, and novel concepts. To address this gap, we propose In-Context Model Predictive Generation (ICMPG), a framework that integrates language-model planning with inference-time physical feedback. ICMPG reformulates motion synthesis as a Model Predictive Control (MPC)-like process with two modules. The Context-Aware Motion Generation (CAMG) module uses an LLM as a planner to decompose textual commands and generate candidate motion sequences from motion tokens. The Model Predictive Generation (MPG) module evaluates these candidates through physical simulation and semantic alignment, estimates a composite reward, and selects the best sequence to guide subsequent generation steps. Unlike open-loop generation, this closed-loop refinement enables ICMPG to adapt motions to both the input semantics and the simulated physical environment without task-specific policy retraining. Extensive experiments across standard and zero-shot open-vocabulary settings show that ICMPG generalizes robustly to diverse commands and produces motions that are more physically plausible and semantically faithful than representative baselines on the evaluated benchmarks. The framework bridges semantic interpretation and physical simulation while remaining flexible enough to incorporate different LLM backbones, enabling more versatile and controllable text-driven motion synthesis.

arXivで原文を読む →arXiv概要ページ

← 論文一覧