日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2602.03501

再パラメータ化フローポリシー最適化

Reparameterization Flow Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

フローポリシーをモデルベース強化学習に組み込み、生成過程とダイナミクスをまとめて誤差逆伝播することで、高いサンプル効率と安定性を実現した手法を提案。

詳しい要約

1. どんなもの?

- モデルベース強化学習におけるReparameterization Policy Gradient (RPG) の新手法。 - flow policyをRPGに統合したReparameterization Flow Policy Optimization (RFO) を提案。 - flow policyは微分可能なODE積分で行動生成。 - 高サンプル効率を実現し、対数尤度計算不要。 - 安定性と探索のための正則化項を含む。 - action chunking付き変種も提案。

2. 先行研究と比べてどこがすごい?

- 従来のRPGはGaussian policyに限定され、性能が制限されていた。 - flow policyとRPGの自然な整合性を初めて指摘。 - 単純な組み合わせでは訓練不安定・探索不足が生じるが、RFOは正則化で解決。 - 難易度の高いsoft-body quadruped locomotionでSOTAベースラインの約2倍の報酬を達成。

3. 技術・手法の肝は?

- flow policyの生成過程とシステムダイナミクスを jointly に逆伝播して方策勾配を計算。 - 対数尤度の計算を回避。 - 安定性と探索のための2つの正則化項を導入。 - action chunkingを用いた変種も提案。

4. どうやって有効だと検証した?

- 多様なlocomotionおよびmanipulationタスクで実験。 - rigidおよびsoft body、状態入力または視覚入力を含む。 - 特にsoft-body quadrupedのlocomotionタスクでSOTAベースラインの約2倍の報酬を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、Reparameterization Policy Gradient (RPG) や flow policy に関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hai Zhong, Zhuoran Li, Xun Wang, Longbo Huang

分類: cs.LG, cs.AI

原文アブストラクト

Reparameterization Policy Gradient (RPG) has emerged as a powerful paradigm for model-based reinforcement learning, enabling high sample efficiency by backpropagating gradients through differentiable dynamics. However, prior RPG approaches have been predominantly restricted to Gaussian policies, limiting their performance and failing to leverage recent advances in generative models. In this work, we identify that flow policies, which generate actions via differentiable ODE integration, naturally align with the RPG framework, a connection not established in prior work. However, naively exploiting this synergy proves ineffective, often suffering from training instability and a lack of exploration. We propose Reparameterization Flow Policy Optimization (RFO). RFO computes policy gradients by backpropagating jointly through the flow generation process and system dynamics, unlocking high sample efficiency without requiring intractable log-likelihood calculations. RFO includes two tailored regularization terms for stability and exploration. We also propose a variant of RFO with action chunking. Extensive experiments on diverse locomotion and manipulation tasks, involving both rigid and soft bodies with state or visual inputs, demonstrate the effectiveness of RFO. Notably, on a challenging locomotion task controlling a soft-body quadruped, RFO achieves almost $2\times$ the reward of the state-of-the-art baseline.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI