RL-MPC融合/階層型計画2025/12/1arXiv:2512.17091

計画を学び、学びを計画する：適応的階層型RL-MPCによるサンプル効率の高い意思決定

Learning to Plan, Planning to Learn: Adaptive Hierarchical RL-MPC for Sample-Efficient Decision Making

強化学習とMPPIベースのMPCを階層的に融合し、価値推定の不確実性に応じてMPPI探索を適応的に増やすことで、サンプル効率とタスク成功率を向上させる手法を提案した論文。

詳しい要約

1. どんなもの？

- 階層構造を持つ planning 問題に対する新しいアプローチ - reinforcement learning と MPC planning を融合する - 2つの planning パラダイムを密接かつ elegant に結合する - 対象は複雑な planning 問題 - race driving、modified Acrobot、obstacles を追加した Lunar Lander で実証 - 狙いは sample-efficient な意思決定

2. 先行研究と比べてどこがすごい？

- 既存アプローチと比較して - 成功率が最大 72% 向上 - non-adaptive sampling と比べて収束が x2.1 加速 - rewards と task success の両面で性能向上 - data efficiency の改善 - 詳細な比較対象の手法名は要旨からは不明

3. 技術・手法の肝は？

- reinforcement learning と MPC planning の緊密な結合 - reinforcement learning の action を MPPI sampler に反映する - MPPI samples を適応的に集約し value estimation に反映する - 適応的プロセス - value estimates が不確かな領域で MPPI による探索をさらに活用する - これにより training robustness と結果の policy を改善する

4. どうやって有効だと検証した？

- 複数ドメインで検証 - race driving - modified Acrobot - obstacles を追加した Lunar Lander - 評価指標 - rewards - task success - data efficiency - 収束速度 - 結果として成功率最大 72% 向上、収束 x2.1 加速を報告

5. 議論はある？

- 要旨からは不明 - 限界や失敗ケースの議論は記述されていない - 計算コストやスケーラビリティの議論も不明

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な研究名は不明 - 関連手法として次を検討 - MPPI (Model Predictive Path Integral) - MPC (Model Predictive Control) - hierarchical reinforcement learning - model-based reinforcement learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Toshiaki Hori, Jonathan DeCastro, Deepak Gopinath, Avinash Balachandran, Guy Rosman

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

We propose a new approach for solving planning problems with a hierarchical structure, fusing reinforcement learning and MPC planning. Our formulation tightly and elegantly couples the two planning paradigms. It leverages reinforcement learning actions to inform the MPPI sampler, and adaptively aggregates MPPI samples to inform the value estimation. The resulting adaptive process leverages further MPPI exploration where value estimates are uncertain, and improves training robustness and the overall resulting policies. This results in a robust planning approach that can handle complex planning problems and easily adapts to different applications, as demonstrated over several domains, including race driving, modified Acrobot, and Lunar Lander with added obstacles. Our results in these domains show better data efficiency and overall performance in terms of both rewards and task success, with up to a 72% increase in success rate compared to existing approaches, as well as accelerated convergence (x2.1) compared to non-adaptive sampling.

arXivで原文を読む →arXiv概要ページ

← 論文一覧