日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

歩行arXiv:2511.09091

APEX: 行動事前分布による脚式ロボットのロバスト動作追従のための効率的探索

APEX: Action Priors Enable Efficient Exploration for Robust Motion Tracking on Legged Robots

シェア:XThreadsFacebookLINEはてブBluesky

専門家のデモンストレーションを減衰する行動事前分布として強化学習に組み込み、展開時の参照データ依存を排除しつつ、脚式ロボットの多様な動作追従を効率的かつロバストに学習する手法を提案。

詳しい要約

1. どんなもの?

- 四足ロボットの自然な運動を学習するための手法 - 既存の motion tracking アルゴリズムに後付け可能な plug-and-play 拡張 APEX を提案 - 展開時に参照データへの依存を完全に排除 - サンプル効率の向上とパラメータ調整の負担軽減を狙う - 学習時のみ expert demonstrations を活用 - decaying action priors で探索を初期に専門家デモへ誘導 - 徐々に独立探索を許可 - 単一ポリシーで多様な運動を学習し、異なる地形・速度へ転移可能

2. 先行研究と比べてどこがすごい?

- 既存の motion tracking は展開時にも参照データを必要とし、適応性を制限 - 多くの手法が extensive tuning を要求 - APEX は展開時に参照データ不要 - plug-and-play で state-of-the-art の motion tracking に組み込み可能 - サンプル効率改善とパラメータ調整削減を実現 - 単一ポリシーで多様な運動を学習し、参照に似たスタイルを異なる地形・速度へ転移 - reward design の変動に対する堅牢性も主張

3. 技術・手法の肝は?

- expert demonstrations を RL に直接統合 - decaying action priors を導入し、初期は専門家デモへ探索をバイアス - 学習進行に伴いバイアスを減衰させ独立探索へ移行 - multi-critic framework を採用 - タスク性能と運動スタイルのバランスを取る - 展開時は参照データを一切使わない設計 - 学習時のデモは明示的なバイアスとして固定せず、探索誘導に利用

4. どうやって有効だと検証した?

- シミュレーションと Unitree Go2 ロボットの両方で広範な実験 - 有効性を検証 - 学習の安定性・効率・汎化性の向上を確認したと主張 - 具体的な比較指標やベースライン名は要旨からは不明

5. 議論はある?

- 展開時に参照データ不要としつつ、参照に似たスタイルの転移が可能と主張 - 明示的バイアスを課さずにデモで探索を誘導する設計の妥当性が論点 - reward design の変動への堅牢性を主張 - どの程度の変動範囲まで耐えるかの詳細は要旨からは不明 - 限界や失敗事例、計算コストの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接比較・参照されている個別研究は明示されていない - 関連手法として state-of-the-art の motion tracking アルゴリズム全般 - 関連する定番・周辺領域として以下が候補 - reinforcement learning を用いた legged locomotion - imitation learning / learning from demonstrations - multi-critic RL - action priors を用いた探索誘導 - Unitree Go2 を用いた sim-to-real 転移研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shivam Sood, Laukik Nakhwa, Sun Ge, Yuhong Cao, Jin Cheng, Fatemah Zargarbashi, Taerim Yoon, Sungjoon Choi, Stelian Coros, Guillaume Sartoretti

分類: cs.RO

原文アブストラクト

Learning natural, animal-like locomotion from demonstrations has become a core paradigm in legged robotics. Despite the recent advancements in motion tracking, most existing methods demand extensive tuning and rely on reference data during deployment, limiting adaptability. We present APEX (Action Priors enable Efficient Exploration), a plug-and-play extension to state-of-the-art motion tracking algorithms that eliminates any dependence on reference data during deployment, improves sample efficiency, and reduces parameter tuning effort. APEX integrates expert demonstrations directly into reinforcement learning (RL) by incorporating decaying action priors, which initially bias exploration toward expert demonstrations but gradually allow the policy to explore independently. This is combined with a multi-critic framework that balances task performance with motion style. Moreover, APEX enables a single policy to learn diverse motions and transfer reference-like styles across different terrains and velocities, while remaining robust to variations in reward design. We validate the effectiveness of our method through extensive experiments in both simulation and on a Unitree Go2 robot. By leveraging demonstrations to guide exploration during RL training, without imposing explicit bias toward them, APEX enables legged robots to learn with greater stability, efficiency, and generalization. We believe this approach paves the way for guidance-driven RL to boost natural skill acquisition in a wide array of robotic tasks, from locomotion to manipulation. Website and code: https://marmotlab.github.io/APEX/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI