日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2509.19023

低次元モデル誘導強化学習によるデモンストレーション不要のヒューマノイド歩行

Reduced-Order Model-Guided Reinforcement Learning for Demonstration-Free Humanoid Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

4自由度の低次元モデルで生成した歩容テンプレートを強化学習で全身ポリシーに蒸留し、モーションキャプチャなしで自然なヒューマノイド歩行を実現した。

詳しい要約

1. どんなもの?

- ヒト型ロボットの歩行制御のための2段階強化学習フレームワーク ROM-GRL の提案 - モーションキャプチャデータや複雑な reward shaping を必要としない - 第1段階で 4-DOF の reduced-order model (ROM) を学習し、第2段階でその軌道を全身ポリシーに蒸留する - 目的は、人間のデモンストレーションなしで安定的・対称的・自然な歩容を獲得すること

2. 先行研究と比べてどこがすごい?

- reward のみに頼る手法(pure-reward baseline)と比較して、追従誤差(tracking error)を大幅に低減 - 1 m/s と 4 m/s の両速度で安定かつ対称な歩容を実現 - imitation ベースの手法と異なり、人間のデモンストレーションを一切必要としない - reward-only 手法と imitation ベース手法の間を橋渡しする位置づけを主張

3. 技術・手法の肝は?

- 第1段階: 4-DOF の compact な reduced-order model (ROM) を Proximal Policy Optimization (PPO) で学習し、エネルギー効率の良い gait template を生成 - 第2段階: ROM の動的に整合した軌道をガイドとして、Soft Actor-Critic (SAC) で全身ポリシーを学習 - adversarial discriminator を追加し、student の 5次元 gait feature 分布を ROM のデモンストレーション分布に一致させる - 軽量な ROM ガイダンスを高次元ポリシーへ蒸留する点が肝

4. どうやって有効だと検証した?

- 1 m/s および 4 m/s の速度条件で実験 - ROM-GRL が安定・対称な歩容を生成し、pure-reward baseline より追従誤差が大幅に低いことを示した - 詳細な評価指標・被験体・シミュレーション/実機の別は要旨からは不明

5. 議論はある?

- reward-only と imitation-based の間を橋渡しし、人間のデモなしで多様で自然なヒト型ロボット行動を可能にする意義を主張 - 限界・失敗ケース・実機転移・計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている pure-reward baseline および imitation-based locomotion 手法 - 構成要素として参照される Proximal Policy Optimization (PPO)、Soft Actor-Critic (SAC)、adversarial discriminator を用いた模倣学習(例: GAIL 系) - 同分野の定番として reduced-order model を用いた locomotion 制御や humanoid locomotion の強化学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuai Liu, Meng Cheng Lau

分類: cs.RO, cs.AI

原文アブストラクト

We introduce Reduced-Order Model-Guided Reinforcement Learning (ROM-GRL), a two-stage reinforcement learning framework for humanoid walking that requires no motion capture data or elaborate reward shaping. In the first stage, a compact 4-DOF (four-degree-of-freedom) reduced-order model (ROM) is trained via Proximal Policy Optimization. This generates energy-efficient gait templates. In the second stage, those dynamically consistent trajectories guide a full-body policy trained with Soft Actor--Critic augmented by an adversarial discriminator, ensuring the student's five-dimensional gait feature distribution matches the ROM's demonstrations. Experiments at 1 meter-per-second and 4 meter-per-second show that ROM-GRL produces stable, symmetric gaits with substantially lower tracking error than a pure-reward baseline. By distilling lightweight ROM guidance into high-dimensional policies, ROM-GRL bridges the gap between reward-only and imitation-based locomotion methods, enabling versatile, naturalistic humanoid behaviors without any human demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI