日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ヒューマノイド/移動操作arXiv:2611.11554

キモード・ポリシー:ヒューマノイドの移動操作のための運動学的アクションモデル学習

Kimodo-Policy: Learning Kinematic Action Models for Humanoid Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

全身運動の生成モデルを土台にした運動学的アクションモデルを提案し、視覚条件付けと階層制御でヒューマノイドの移動しながらの操作を実現した論文。

詳しい要約

1. どんなもの?

- ヒューマノイドの loco-manipulation のための新しい学習パラダイム Kinematic Action Models (KAMs) を提案する論文。 - 全身運動そのものを直接の pretraining target とし、pretrained motion generator を主要な action-generation backbone として用いる。 - 初期実装 Kimodo-Policy は、frozen の Kimodo text-to-motion backbone と軽量な ControlNet-based visual conditioning を組み合わせる。 - 678M parameters(うち 92M trainable)のポリシーで、多タスク HumanoidArena や実世界タスクを評価。

2. 先行研究と比べてどこがすごい?

- vision-language-action models や world action models は意味論・視覚力学の prior を転送するが、ロボット運動の構造を必ずしも捉えないと指摘。 - 本研究は運動生成そのものを事前学習対象とする点が異なる。 - 比較ポリシー中で HumanoidArena の総合成功率が最高(72.14%)と報告。 - ablation により pretrained motion backbone の寄与を支持。

3. 技術・手法の肝は?

- 全身運動を直接 pretraining target とする KAMs パラダイムを導入。 - pretrained motion generator を action-generation backbone として使用。 - Kimodo-Policy は frozen の Kimodo text-to-motion backbone に ControlNet-based visual conditioning を付加。 - root-body-hand hierarchy で locomotion と manipulation を協調。 - motion-history conditioning と repeated action-chunk prediction で motion synthesis と closed-loop control を橋渡し。 - 大規模 loco-manipulation pretraining を実施。

4. どうやって有効だと検証した?

- 多タスク HumanoidArena で比較ポリシー中最高の総合成功率 72.14% を達成。 - SIMPLE で競争力のある性能を確認。 - 実世界 8 タスクで平均成功率 60% を報告。 - ablation により pretrained motion backbone の寄与を支持。

5. 議論はある?

- 運動生成がヒューマノイドの action learning の補完的 foundation になり得る初期証拠を提示。 - ただし著者自身が『initial evidence』と位置づけており、限定的な検証と読める。 - 具体的な限界や失敗事例、計算コストの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている vision-language-action models、world action models、Kimodo text-to-motion backbone、ControlNet。 - 関連手法として HumanoidArena、SIMPLE のベースライン比較ポリシー。 - 同分野の定番として behavior cloning 系の模倣学習や強化学習ベースの loco-manipulation 研究も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunheng Wang, Jiaxi Zhang, Wei Lu, Yuetong Fang, Taowen Wang, Yixiao Feng, Shuning Zhang, Junzhe Xu, Yichi Wang, Zizhao Yuan, Kailun Huang, Lusong Li, Mingqian Zhou, Zecui Zeng, Renjing Xu

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Humanoid loco-manipulation requires continuous coordination of high-dimensional whole-body motion to realize task objectives. While vision-language-action models and world action models transfer semantic and visual-dynamics priors to robot control, these priors do not necessarily capture the structure of robot motion. We introduce Kinematic Action Models (KAMs), a paradigm that treats whole-body motion as a direct pretraining target and uses a pretrained motion generator as the primary action-generation backbone. KAMs ground learned temporal and cross-body coordination priors through task conditioning, visual observations, and execution feedback. We present Kimodo-Policy as an initial instantiation, combining a frozen Kimodo text-to-motion backbone with lightweight ControlNet-based visual conditioning. A root-body-hand hierarchy coordinates locomotion and manipulation, while motion-history conditioning and repeated action-chunk prediction bridge motion synthesis and closed-loop control. Following large-scale loco-manipulation pretraining, the policy achieves the highest overall success among compared policies on multi-task HumanoidArena (72.14%), competitive performance on SIMPLE, and 60% mean success across eight real-world tasks, with 678M parameters (92M trainable). Ablations support the contribution of the pretrained motion backbone. Together, these results provide initial evidence for motion generation as a complementary foundation for humanoid action learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI