日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2510.04280

適応的事前分布を用いた計画学習のためのKL正則化フレームワーク

A KL-regularization Framework for Learning to Plan with Adaptive Priors

シェア:XThreadsFacebookLINEはてブBluesky

MPPIベースのモデルベース強化学習手法をKL正則化の枠組みで統一的に整理し、プランナの行動分布を事前分布として取り込むPO-MPCを提案した論文。

詳しい要約

1. どんなもの?

- MPPI ベースの MBRL 手法を統一的に扱う枠組み **PO-MPC** を提案する研究。 - planner の action distribution を policy optimization の prior として組み込む KL-regularized MBRL 手法群として定式化。 - 既存手法をこの family の special case として位置づけ、未検討の変種を探索する。 - 対象は高次元連続制御タスクにおける sample efficiency と exploration の改善。

2. 先行研究と比べてどこがすごい?

- 従来は sampling policy を planner と独立に更新(value function の deterministic policy gradient + entropy regularization)する手法が主流。 - 近年は planner distribution への KL divergence 最小化や planner-guided regularization を導入する手法が登場。 - 本研究はこれらを単一の KL-regularized framework に統合し、Return 最大化と KL divergence 最小化のトレードオフを柔軟に調整可能にした点が新しい。 - 既存手法を special case として包含し、未研究の変種で性能向上を示す。

3. 技術・手法の肝は?

- planner の action distribution を prior として policy optimization に組み込む **KL-regularized** な目的関数を設計。 - learned policy を MPPI planner の proposal distribution として用いる設定を統一フレームワーク **PO-MPC** として定式化。 - policy 更新において Return 最大化と planner への KL divergence 最小化のバランスを調整可能にする。 - 既存の KL 最小化型・planner-guided regularization 型の更新が本 family の特殊ケースとして導出される。

4. どうやって有効だと検証した?

- 高次元連続制御タスクにおける実験で、拡張構成が有意な性能改善をもたらし MPPI ベース RL の state of the art を更新したと報告。 - 具体的なベンチマーク名・比較手法・指標は要旨からは不明。

5. 議論はある?

- Return 最大化と KL divergence 最小化のトレードオフの調整が性能に与える影響を議論。 - 既存手法が special case として整理されることを示し、未検討変種の有効性を議論。 - 限界や失敗ケース、計算コスト等の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照される MPPI ベース RL の先行手法(planner distribution への KL divergence 最小化、planner-guided regularization を導入した研究)。 - Model-Predictive Path Integral (MPPI) planning の原論文。 - model-based reinforcement learning (MBRL) における exploration 関連の定番研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Álvaro Serra-Gomez, Daniel Jarne Ornia, Dhruva Tirumala, Thomas Moerland

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Effective exploration remains a central challenge in model-based reinforcement learning (MBRL), particularly in high-dimensional continuous control tasks where sample efficiency is crucial. A prominent line of recent work leverages learned policies as proposal distributions for Model-Predictive Path Integral (MPPI) planning. Initial approaches update the sampling policy independently of the planner distribution, typically maximizing a learned value function with deterministic policy gradient and entropy regularization. However, because the states encountered during training depend on the MPPI planner, aligning the sampling policy with the planner improves the accuracy of value estimation and long-term performance. To this end, recent methods update the sampling policy by minimizing KL divergence to the planner distribution or by introducing planner-guided regularization into the policy update. In this work, we unify these MPPI-based reinforcement learning methods under a single framework by introducing Policy Optimization-Model Predictive Control (PO-MPC), a family of KL-regularized MBRL methods that integrate the planner's action distribution as a prior in policy optimization. By aligning the learned policy with the planner's behavior, PO-MPC allows more flexibility in the policy updates to trade off Return maximization and KL divergence minimization. We clarify how prior approaches emerge as special cases of this family, and we explore previously unstudied variations. Our experiments show that these extended configurations yield significant performance improvements, advancing the state of the art in MPPI-based RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI