日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2505.10022

APEX: 行動事前分布による効率的探索で脚式ロボットの頑健な動作追従を実現

APEX: Action Priors Enable Efficient Exploration for Robust Motion Tracking on Legged Robots

シェア:XThreadsFacebookLINEはてブBluesky

参照動作への依存を減らすため、減衰する行動事前分布で探索を誘導し、複数クリティックでスタイルとタスクを分離学習する動作追従RLフレームワークを提案。人型・四足ロボットのシミュレーションとUnitree Go2でのゼロショット展開で有効性を示した。

詳しい要約

1. どんなもの?

- 四足・人型ロボットの自然な歩容を学習するmotion-tracking強化学習フレームワークAPEXの提案 - demonstrationから動物らしいlocomotionを学習する枠組みで、deployment時にreference motion入力を不要にする - decaying action priorsでdemonstrationをRLに統合し、最終的に純粋なRL policyを得る - multi-critic構成でstyleとtask+regularizationの学習信号を分離 - simulationでhumanoidとquadrupedを検証し、Unitree Go2でzero-shot deploymentを実施

2. 先行研究と比べてどこがすごい?

- 従来のmotion trackingはdeployment時にreference motion入力へ依存し、task objectiveへの応答性や適応性が制限されていた - 多くの手法はsubstantial tuningを要する点が課題だった - APEXはdeployment時のreference motion依存を除去し、sample efficiencyを改善、tuning effortを削減 - 単一policyで多様なmotionを学習し、異なるterrainやvelocityへreference-like styleを転移可能 - 訓練パラメータの変動に対するrobustnessも主張

3. 技術・手法の肝は?

- decaying action priors: 初期explorationをdemonstration整合actionへ誘導し、その後priorをゼロへ減衰させ純粋RL policy化 - multi-critic framework: style学習信号とtask+regularization学習信号を分離して学習 - 単一policyで多様なmotionを獲得し、terrainやvelocity間でstyle転移を可能にする設計 - 詳細なnetwork構成やprior減衰スケジュールは要旨からは不明

4. どうやって有効だと検証した?

- simulation上でhumanoidおよびquadrupedロボットを用いて検証 - Unitree Go2ロボットへのzero-shot deploymentを実施 - 多様なmotion学習、異なるterrain・velocityへのstyle転移、訓練パラメータ変動へのrobustnessを確認 - 定量的な比較指標やbaseline詳細は要旨からは不明

5. 議論はある?

- deployment時reference motion不要化によるtask objective応答性・適応性の向上を主張 - sample efficiencyとtuning effort削減の程度に関する定量的議論は要旨からは不明 - decaying action priorsの減衰設計が性能へ与える影響や限界は要旨からは不明 - simulationから実機へのzero-shot transferの一般性・失敗事例は要旨からは不明

6. 次に読むべき論文は?

- motion tracking系の強化学習手法(reference motion依存の既存手法) - action priorsやdemonstration-guided RLに関する先行研究 - multi-critic / multi-objective RLの関連手法 - Unitree Go2を用いたlegged locomotionのzero-shot deployment研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shivam Sood, Laukik Nakhwa, Sun Ge, Yuhong Cao, Jin Cheng, Fatemah Zargarbashi, Taerim Yoon, Sungjoon Choi, Stelian Coros, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

Learning natural, animal-like locomotion from demonstrations has become a core paradigm in legged robotics. While motion tracking can reproduce reference gaits, many approaches still require substantial tuning and depend on reference motion inputs at deployment, which can limit responsiveness to task objectives and reduce adaptability. We present APEX (Action Priors enable Efficient eXploration), a motion-tracking reinforcement learning (RL) framework that removes deployment-time dependence on reference motion inputs, improves sample efficiency, and reduces tuning effort. APEX integrates demonstrations into RL via decaying action priors, which guide early exploration toward demonstration-consistent actions and then fade to zero, yielding a pure RL policy at deployment. This is combined with a multi-critic framework that separates style and task + regularization learning signals. Moreover, APEX enables a single policy to learn diverse motions and transfer reference-like styles across different terrains and velocities, while remaining robust to variations in training parameters. We validate our method in simulation on both humanoid and quadruped robots, and with zero-shot deployment on a Unitree Go2 robot. Website and code: https://marmotlab.github.io/APEX/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI