モデルベースRL2025/9/1arXiv:2509.00215

分離型逆伝播による一次モデルベース強化学習

First Order Model-Based RL through Decoupled Backpropagation

シミュレータで軌道を生成し、学習した微分可能モデルを通して勾配を計算することで、シミュレータの勾配が不要な高効率な一次方策最適化を実現し、四足・二足歩行タスクで有効性を示した。

詳しい要約

1. どんなもの？

- 強化学習(RL)において、simulator の勾配が利用できない状況でも一次勾配に基づく方策最適化を可能にする手法を提案した研究。 - 軌道生成(trajectory generation)と勾配計算(gradient computation)を分離(decouple)する設計が中心。 - 軌道は simulator で展開(unroll)し、勾配は学習した微分可能な simulator モデルを通した backpropagation で計算する。 - 実機 Go2 quadruped robot の quadrupedal/bipedal locomotion タスクでも有効性を示す。

2. 先行研究と比べてどこがすごい？

- 初期の gradient-based 手法は derivative-free 手法より高性能だが、simulator 勾配の取得は実装コストや入手不能性で非現実的なことが多い。 - 既存 MBRL は学習した dynamics model で勾配を近似できるが、training rollouts 中の予測誤差の累積(compounding prediction errors)で solver 効率と方策性能が劣化する。 - 提案法は SHAC のような特化型 optimizer の sample efficiency と速度を持ちつつ、PPO のような標準手法の汎用性を維持し、他の first-order MBRL で見られる ill behaviors を回避する点が優位。

3. 技術・手法の肝は？

- 軌道生成と勾配計算を分離する hybrid design が肝。 - 軌道は simulator を用いて unroll し、勾配は simulator の学習済み微分可能モデル(differentiable model)を通した backpropagation で算出。 - これにより simulator 勾配が無くても効率的で一貫した first-order policy optimization を実現。 - さらに simulation rollouts から critic を学習でき、より正確になる。

4. どうやって有効だと検証した？

- benchmark control tasks 上で実験的に検証。 - 実機の Go2 quadruped robot において quadrupedal および bipedal locomotion タスクで有効性を実証。 - 詳細な比較条件や指標は要旨からは不明。

5. 議論はある？

- 学習した微分可能モデルによる勾配近似の誤差や、compounding prediction errors への対処の限界については要旨からは不明。 - 実機展開時の sim-to-real ギャップや頑健性に関する議論は要旨からは不明。 - 他の first-order MBRL で見られる ill behaviors の具体的内容や回避理由の詳細は要旨からは不明。

6. 次に読むべき論文は？

- SHAC(特化型 first-order optimizer として比較対象) - PPO(標準手法として比較対象) - 学習した dynamics model を用いる一般的な Model-based RL(MBRL)手法 - simulator の微分可能モデルを用いた differentiable simulation 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Joseph Amigo, Rooholla Khorrambakht, Elliot Chane-Sane, Nicolas Mansard, Ludovic Righetti

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

There is growing interest in reinforcement learning (RL) methods that leverage the simulator's derivatives to improve learning efficiency. While early gradient-based approaches have demonstrated superior performance compared to derivative-free methods, accessing simulator gradients is often impractical due to their implementation cost or unavailability. Model-based RL (MBRL) can approximate these gradients via learned dynamics models, but the solver efficiency suffers from compounding prediction errors during training rollouts, which can degrade policy performance. We propose an approach that decouples trajectory generation from gradient computation: trajectories are unrolled using a simulator, while gradients are computed via backpropagation through a learned differentiable model of the simulator. This hybrid design enables efficient and consistent first-order policy optimization, even when simulator gradients are unavailable, as well as learning a critic from simulation rollouts, which is more accurate. Our method achieves the sample efficiency and speed of specialized optimizers such as SHAC, while maintaining the generality of standard approaches like PPO and avoiding ill behaviors observed in other first-order MBRL methods. We empirically validate our algorithm on benchmark control tasks and demonstrate its effectiveness on a real Go2 quadruped robot, across both quadrupedal and bipedal locomotion tasks.

arXivで原文を読む →arXiv概要ページ

分離型逆伝播による一次モデルベース強化学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事

FRONTIER（GPU搭載BTOパソコン）

双腕モバイルマニピュレーター OpenShell