日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2507.01243

自己進化型プライアで強化学習をジャンプスタートさせた極限単脚ロコモーション

Jump-Start Reinforcement Learning with Self-Evolving Priors for Extreme Monopedal Locomotion

シェア:XThreadsFacebookLINEはてブBluesky

強化学習の訓練を段階的に複雑化し、自己進化するプライアを生成することで、四脚ロボットが不整地で片脚跳躍を実現する手法を提案。

詳しい要約

1. どんなもの?

- 四足歩行ロボットの制御に強化学習(RL)を適用する研究 - 特に単脚跳躍(monopedal hopping)という極端な underactuation と極端な地形の二重課題に挑む - JumpER(jump-start reinforcement learning via self-evolving priors)と呼ぶ RL 訓練フレームワークを提案 - 方策学習を段階的に複雑化する複数ステージに構造化する - 外部の expert prior や手作りの reward shaping に依存せず、単脚跳躍を実現することを目指す

2. 先行研究と比べてどこがすごい?

- 従来の RL は四足歩行の agile locomotion には有効だが、monopedal hopping のような二重の極端課題の直接学習は困難 - 初期段階の相互作用が不安定で reward feedback が信頼できない問題があった - JumpER は外部 expert prior や手作り reward shaping を必要としない点が特徴 - 自己進化する prior を反復的に生成することで探索と方策最適化を安定化 - 四足ロボットによる不規則地形上の頑健な単脚跳躍を初めて実現したと主張

3. 技術・手法の肝は?

- 方策学習を複数の難易度ステージに分割する枠組み - 以前に学習した方策を反復的に bootstrapping し、self-evolving priors を動的に生成 - 生成した prior を段階的に洗練し、ガイダンスを強化 - 3段階の curriculum を統合し、action modality、observation space、task objective を段階的に変化させる - これにより探索と方策最適化を安定化させる

4. どうやって有効だと検証した?

- 四足ロボットによる monopedal hopping タスクで検証 - 最大 60 cm の wide gaps、不規則間隔の stairs、15 cm から 35 cm まで距離が変化する stepping stones を含む難シナリオで評価 - 従来手法が苦戦するこれらのシナリオを扱えることを示した - 詳細な実験設定や比較手法は要旨からは不明

5. 議論はある?

- 極端な underactuation と極端な地形の二重課題に対する原理的かつスケーラブルなアプローチを提供すると主張 - 外部 expert prior や手作り reward shaping への依存を排除できる点を利点として議論 - 限界や失敗事例、計算コスト、実機転移の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として、四足ロボットの agile locomotion 向け RL、curriculum learning、bootstrapping による prior 生成、reward shaping を用いる研究を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziang Zheng, Guojian Zhan, Shiqi Liu, Yao Lyu, Tao Zhang, Shengbo Eben Li

分類: cs.RO, cs.LG

原文アブストラクト

Reinforcement learning (RL) has shown great potential in enabling quadruped robots to perform agile locomotion. However, directly training policies to simultaneously handle dual extreme challenges, i.e., extreme underactuation and extreme terrains, as in monopedal hopping tasks, remains highly challenging due to unstable early-stage interactions and unreliable reward feedback. To address this, we propose JumpER (jump-start reinforcement learning via self-evolving priors), an RL training framework that structures policy learning into multiple stages of increasing complexity. By dynamically generating self-evolving priors through iterative bootstrapping of previously learned policies, JumpER progressively refines and enhances guidance, thereby stabilizing exploration and policy optimization without relying on external expert priors or handcrafted reward shaping. Specifically, when integrated with a structured three-stage curriculum that incrementally evolves action modality, observation space, and task objective, JumpER enables quadruped robots to achieve robust monopedal hopping on unpredictable terrains for the first time. Remarkably, the resulting policy effectively handles challenging scenarios that traditional methods struggle to conquer, including wide gaps up to 60 cm, irregularly spaced stairs, and stepping stones with distances varying from 15 cm to 35 cm. JumpER thus provides a principled and scalable approach for addressing locomotion tasks under the dual challenges of extreme underactuation and extreme terrains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI