全身制御/動作生成2026/6/1arXiv:2606.10340

OMG: 汎用人型ロボット制御のための全モーダル動作生成

OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

多様な入力モダリティ（言語、音声、人間の参照動作）に基づいて全身動作を生成する拡散モデルを提案し、データキュレーションと階層的制御構造により汎用的な人型ロボット制御を実現した。

詳しい要約

1. どんなもの？

OMGは、ヒューマノイドの全身制御を目的としたomni-modalなmotion generationフレームワーク。言語・音声・人間の参照動作を条件として、拡散モデルベースのmotion generatorで動作を生成し、反応的なmotion tracking cerebellumと組み合わせる。大規模データのキュレーション・フィルタリング・ラベリングパイプラインを構築し、汎用ヒューマノイド制御のための基盤モデルへの具体的な一歩を示す。

2. 先行研究と比べてどこがすごい？

従来のヒューマノイド全身制御は、報酬設計が重い少数スキルポリシーか、新しい入力モダリティへの拡張が難しいmotion trackerに限られていた。OMGは、多様な条件モダリティで推論できるスケーラブルなbrainと反応的なmotion tracking cerebellumの階層構造を採用し、omni-modalな全身コントローラとして最先端性能、モデルスケーリング、新分布・新モダリティへの効率的適応を実現する点が異なる。

3. 技術・手法の肝は？

技術の肝は、入念なデータキュレーション・フィルタリング・ラベリングパイプラインと、言語・音声・人間参照動作を条件とするdiffusion-based motion generation backbone。生物の運動系に倣い、多様な条件モダリティを扱うスケーラブルなbrainと、反応的なmotion tracking cerebellumを階層的に組み合わせる。これにより、合成的で拡張可能なマルチモーダル入力に条件付け可能な生成器を実現する。

4. どうやって有効だと検証した？

広範な実験により、OMGがomni-modalな全身コントローラとして最先端性能を示すこと、モデルスケーリング挙動、新しい分布やモダリティへの効率的適応を検証した。具体的な評価指標やデータセット名は要旨からは不明。

5. 議論はある？

要旨からは不明。ただし、汎用ヒューマノイド制御の実現には高品質データの大量取得と、合成的・拡張可能なマルチモーダル入力への条件付け能力が課題として挙げられている。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていない。同分野の関連手法として、humanoid whole-body control、motion tracking、diffusion-based motion generation、language-conditioned motion generation、audio-conditioned motion generationなどが次に読むべき候補として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siqiao Huang, Kun-Ying Lee, Dongming Qiao, Guanqi He, Zhenyu Wang, Yitang Li, Shaoting Zhu, Hang Zhao

分類: cs.RO

原文アブストラクト

Humanoid whole-body control has made significant progress in recent years, yet existing approaches remain limited to few-skill policies with heavy reward engineering, or motion trackers that are difficult to extend to new input modalities. We argue that the key to general-purpose humanoid control is to build a scalable brain, a module capable of reasoning with diverse conditioning modalities, atop a reactive motion tracking cerebellum, mirroring the hierarchical structure of biological motor systems. Two challenges arise in realizing this vision: acquiring a vast amount of high-quality data to achieve general purpose control, and equipping the generator with the capability to condition on compositional, extensible multi-modal inputs. We present OMG, which addresses these challenges with a meticulous data curation, filtering and labeling pipeline, as well as a diffusion-based motion generation backbone that conditions on language, audio, and human reference motions. Extensive experiments validate OMG as an omni-modal whole-body controller exhibiting state-of-the-art performance, model scaling behavior and efficient adaptation to new distributions and modalities, marking a concrete step toward foundation models for humanoid robots.

arXivで原文を読む →arXiv概要ページ

← 論文一覧