日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2505.18780

DreamPolicy:スケーラブルなヒューマノイド歩行のための統合ワールドモデルポリシー

DreamPolicy: A Unified World-model Policy for Scalable Humanoid Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースの地形認識ワールドモデルとオフラインデータを統合し、単一のポリシーで未知の複合地形へのゼロショット転移を実現したヒューマノイド歩行フレームワーク。

詳しい要約

1. どんなもの?

- ヒューマノイドの多様な locomotion を単一 policy で実現する統合フレームワーク DreamPolicy の提案。 - offline data と diffusion-based world model を統合。 - 既知地形と未見地形の両方を単一 policy で扱うことを狙う。 - 中心は terrain-aware world model。 - 専門 policy 群の rollout を集約して学習した autoregressive diffusion world model。 - 物理的に妥当な将来 trajectory を合成し、conditioned policy の動的目標として利用。 - 手作業の reward engineering を回避し、zero-shot transfer を目指す。

2. 先行研究と比べてどこがすごい?

- 従来は地形別 teacher policy を統合 student policy へ distillation する手法が主流。 - 基本 locomotion primitive は獲得できるが、複合地形への有機的 skill 構成が苦手。 - 訓練時に見ていない composite terrain への汎化が悪い。 - DreamPolicy は distillation ではなく world model が汎化可能な locomotion skill を捉える。 - 未見 composite terrain への robust な zero-shot transfer を可能に。 - データ量増加に伴い world model が継続的に skill を獲得し scalable。 - 実験で最強 baseline を未見地形で最大 27%、combined terrain で 38% 上回る。

3. 技術・手法の肝は?

- terrain-aware world model を中核に据える。 - 専門 policy 群の集約 rollout で autoregressive diffusion world model を訓練。 - 将来 trajectory を合成し、conditioned policy への動的目標として与える。 - これにより手作業 reward engineering を不要化。 - world model-based planning と policy learning を統合。 - 「one task, one policy」のボトルネックを打破する設計。 - offline dataset の拡大に応じて world model がより豊かな skill を獲得する scalable 構造。

4. どうやって有効だと検証した?

- 未見地形および combined terrain での実験を実施。 - 最強 baseline に対し未見地形で最大 27%、combined terrain で 38% の改善。 - zero-shot transfer の有効性を確認。 - データ拡大に伴う world model の skill 獲得も示唆。 - 具体的な評価環境・指標・baseline 名は要旨からは不明。

5. 議論はある?

- distillation ベース手法の限界(複合地形への汎化不足)を動機として提示。 - world model が汎化可能な skill を捉える点を主張。 - データ拡大で継続的に skill を獲得する scalability を強調。 - 限界・失敗事例・計算コスト・実機検証の有無は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象の distillation ベースの統一 policy 研究(terrain-specific teacher から student への distillation)。 - diffusion-based world model を用いた model-based RL / planning の関連研究。 - humanoid locomotion の terrain-aware policy 学習および zero-shot transfer の研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yahao Fan, Tianxiang Gui, Kaiyang Ji, Shutong Ding, Chixuan Zhang, Yifeng Xu, Ke Yang, Jiayuan Gu, Jingyi Yu, Jingya Wang, Ye Shi

分類: cs.RO, cs.LG

原文アブストラクト

Achieving versatile humanoid locomotion with a single policy presents a critical scalability challenge. Prevailing methods often rely on distilling multiple terrain-specific teacher policies into a unified student policy. However, while such distillation captures basic locomotion primitives, it struggles to organically compose these skills to adapt to complex environments, resulting in poor generalization to novel composite terrains unseen during training. To overcome this, we present DreamPolicy, a unified framework that integrates offline data with a diffusion-based world model, enabling a single policy to master both known and unseen terrains. Central to our approach is a terrain-aware world model, driven by an autoregressive diffusion world model trained on aggregated rollouts from specialized policies. This model synthesizes physically plausible future trajectories, which serve as dynamic objectives for a conditioned policy, thereby bypassing manual reward engineering. Unlike distillation, our world model captures generalizable locomotion skills, allowing for robust zero-shot transfer to unseen composite terrains. DreamPolicy naturally scales with data availability. As the offline dataset expands, the diffusion world model continuously acquires richer skills. Experiments demonstrate that DreamPolicy outperforms the strongest baseline by up to 27\% on unseen terrains and 38\% on combined terrains. By unifying world model-based planning and policy learning, DreamPolicy breaks the "one task, one policy" bottleneck and establishes a scalable, data-driven paradigm for generalist humanoid control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI