日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.18578

有界比率強化学習

Bounded Ratio Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

PPOのヒューリスティックなクリップ目的と信頼領域法の理論的ギャップを埋めるため、有界比率強化学習(BRRL)フレームワークを提案し、解析的最適解と単調性能改善を保証する新しいポリシー最適化アルゴリズムBPOを開発した。

詳しい要約

1. どんなもの?

- 強化学習のための新しいフレームワークであるBounded Ratio Reinforcement Learning (BRRL)を提案する。 - BRRLは正則化と制約を組み合わせた政策最適化問題を定式化し、解析的な最適解を導出する。 - この解が単調な性能改善を保証することを証明する。 - パラメータ化された政策クラスに対応するため、Bounded Policy Optimization (BPO)アルゴリズムを開発する。 - BPOは政策とBRRLの解析的最適解との間のadvantage-weighted divergenceを最小化する。 - BPOの損失関数に基づく期待性能の下限を確立する。 - フレームワークはPPO損失の成功を解釈する新しい理論的視点を提供し、trust region policy optimizationとCross-Entropy Method (CEM)を結びつける。 - BPOをLLMファインチューニング用にGroup-relative BPO (GBPO)に拡張する。

2. 先行研究と比べてどこがすごい?

- PPOはon-policy強化学習の主要アルゴリズムだが、trust region法の基礎とPPOで使われるヒューリスティックなclipped objectiveとの間に大きな乖離がある。 - 本研究はこの乖離を埋める。 - BRRLは新しい正則化・制約付き政策最適化問題を定式化し、解析的最適解を導出する。 - この解が単調性能改善を保証することを証明する。 - BPOはadvantage-weighted divergenceを最小化し、期待性能の下限を確立する。 - PPO損失の成功を解釈する新しい理論的レンズを提供し、trust region policy optimizationとCEMを結びつける。 - 実験でBPOとGBPOがPPOやGRPOと同等以上の安定性と最終性能を示す。

3. 技術・手法の肝は?

- BRRLフレームワークを導入し、正則化と制約を組み合わせた政策最適化問題を定式化する。 - その解析的最適解を導出し、単調性能改善を証明する。 - パラメータ化政策クラスに対応するため、BPOアルゴリズムを開発する。 - BPOは政策とBRRLの解析的最適解との間のadvantage-weighted divergenceを最小化する。 - BPO損失関数に基づく期待性能の下限を確立する。 - BPOをLLMファインチューニング用にGBPOに拡張する。

4. どうやって有効だと検証した?

- BPOをMuJoCo、Atari、複雑なIsaacLab環境(例:Humanoid locomotion)で評価する。 - GBPOをLLMファインチューニングタスクで評価する。 - 実験結果はBPOとGBPOが一般的にPPOやGRPOと同等以上の安定性と最終性能を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Proximal Policy Optimization (PPO) - Trust Region Policy Optimization (TRPO) - Cross-Entropy Method (CEM) - Group-relative Policy Optimization (GRPO)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunke Ao, Le Chen, Bruce D. Lee, Assefa S. Wahd, Aline Czarnobai, Philipp Fürnstahl, Bernhard Schölkopf, Andreas Krause

分類: cs.LG, cs.AI

原文アブストラクト

Proximal Policy Optimization (PPO) has become the predominant algorithm for on-policy reinforcement learning due to its scalability and empirical robustness across domains. However, there is a significant disconnect between the underlying foundations of trust region methods and the heuristic clipped objective used in PPO. In this paper, we bridge this gap by introducing the Bounded Ratio Reinforcement Learning (BRRL) framework. We formulate a novel regularized and constrained policy optimization problem and derive its analytical optimal solution. We prove that this solution ensures monotonic performance improvement. To handle parameterized policy classes, we develop a policy optimization algorithm called Bounded Policy Optimization (BPO) that minimizes an advantage-weighted divergence between the policy and the analytic optimal solution from BRRL. We further establish a lower bound on the expected performance of the resulting policy in terms of the BPO loss function. Notably, our framework also provides a new theoretical lens to interpret the success of the PPO loss, and connects trust region policy optimization and the Cross-Entropy Method (CEM). We additionally extend BPO to Group-relative BPO (GBPO) for LLM fine-tuning. Empirical evaluations of BPO across MuJoCo, Atari, and complex IsaacLab environments (e.g., Humanoid locomotion), and of GBPO for LLM fine-tuning tasks, demonstrate that BPO and GBPO generally match or outperform PPO and GRPO in stability and final performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI