日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.12799

FRoM-W1: 言語指示による汎用人型全身制御フレームワーク

FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions

シェア:XThreadsFacebookLINEはてブBluesky

自然言語から人型ロボットの全身動作を生成・実行する2段階フレームワークを提案し、Unitree H1/G1で動作追従精度の向上を実証した。

詳しい要約

1. どんなもの?

- 自然言語指示による汎用人型ロボット全身運動制御フレームワークFRoM-W1を提案。 - 二段階構成: H-GPT(言語からの人間全身運動生成)とH-ACT(ロボット運動制御)。 - オープンソースでUnitree H1/G1に実装。

2. 先行研究と比べてどこがすごい?

- 従来のハードコードや特定訓練に依存せず、自然言語で多様な動作を生成・実行可能。 - 大規模人間データとChain-of-Thoughtで指示理解の汎化を向上。 - 強化学習微調整により運動追従精度とタスク成功率を改善。

3. 技術・手法の肝は?

- H-GPT: 大規模人間データで言語駆動型全身運動生成モデルを訓練、Chain-of-Thoughtで汎化向上。 - H-ACT: 生成運動をロボット固有動作にリターゲティング後、物理シミュレーションで事前学習+強化学習微調整。 - モジュール型sim-to-realで実機展開。

4. どうやって有効だと検証した?

- Unitree H1/G1で評価。 - HumanML3D-Xベンチマークで優れた性能。 - 強化学習微調整が運動追従精度とタスク成功率を一貫して改善。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- HumanML3D-Xベンチマーク関連研究、Chain-of-Thought、強化学習による運動制御、sim-to-real転移の定番手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peng Li, Zihan Zhuang, Yangfan Gao, Yi Dong, Sixian Li, Changhao Jiang, Shihan Dou, Zhiheng Xi, Enyu Zhou, Jixuan Huang, Hui Li, Jingjing Gong, Xingjun Ma, Tao Gui, Zuxuan Wu, Qi Zhang, Xuanjing Huang, Yu-Gang Jiang, Xipeng Qiu

分類: cs.RO, cs.CL, cs.CV

原文アブストラクト

Humanoid robots are capable of performing various actions such as greeting, dancing and even backflipping. However, these motions are often hard-coded or specifically trained, which limits their versatility. In this work, we present FRoM-W1, an open-source framework designed to achieve general humanoid whole-body motion control using natural language. To universally understand natural language and generate corresponding motions, as well as enable various humanoid robots to stably execute these motions in the physical world under gravity, FRoM-W1 operates in two stages: (a) H-GPT: utilizing massive human data, a large-scale language-driven human whole-body motion generation model is trained to generate diverse natural behaviors. We further leverage the Chain-of-Thought technique to improve the model's generalization in instruction understanding. (b) H-ACT: After retargeting generated human whole-body motions into robot-specific actions, a motion controller that is pretrained and further fine-tuned through reinforcement learning in physical simulation enables humanoid robots to accurately and stably perform corresponding actions. It is then deployed on real robots via a modular simulation-to-reality module. We extensively evaluate FRoM-W1 on Unitree H1 and G1 robots. Results demonstrate superior performance on the HumanML3D-X benchmark for human whole-body motion generation, and our introduced reinforcement learning fine-tuning consistently improves both motion tracking accuracy and task success rates of these humanoid robots. We open-source the entire FRoM-W1 framework and hope it will advance the development of humanoid intelligence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI