日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.18763

GenPO: 拡散生成モデルとオンポリシー強化学習の融合

GenPO: Generative Diffusion Models Meet On-Policy Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーをPPOなどのオンポリシーRLに組み込むため、正確な拡散反転と二重ダミー行動機構で対数尤度計算を可能にした生成ポリシー最適化フレームワークを提案。

詳しい要約

1. どんなもの?

- 拡散モデルベースの生成的政策をon-policy強化学習に統合する枠組み「GenPO」を提案した研究。 - PPOなどのon-policyアルゴリズムにdiffusion policyを組み込むことを目指す。 - IsaacLab上の8ベンチマーク(脚式移動、巧緻操作、飛行制御、ロボットアーム)で評価。 - diffusion policyをon-policy RLへ初めて統合したと主張。

2. 先行研究と比べてどこがすごい?

- 従来のdiffusion policy研究はoffline RLやoff-policy RLが中心で、on-policy設定は未開拓だった。 - Gaussian policyでは容易なstate-action対数尤度計算が、flow系モデルでは不可逆な順逆過程や離散化誤差(Euler-Maruyama近似)のため困難という課題があった。 - GenPOはexact diffusion inversionに基づく可逆なaction mappingでこの障壁を解消。 - 大規模並列GPUシミュレータ(IsaacLab)向けのon-policy RLとの親和性を初めて実現。

3. 技術・手法の肝は?

- exact diffusion inversionを利用し、可逆なaction mappingを構築する。 - 新規のdoubled dummy action mechanismを導入し、交互更新により可逆性を実現。 - これによりdiffusion policy下でのstate-action対数尤度計算の障壁を解消。 - 得られたaction対数尤度を不偏なentropy推定とKL divergence推定に利用。 - KL-adaptive learning rateとentropy regularizationをon-policy更新に組み込む。

4. どうやって有効だと検証した?

- IsaacLab上の8ベンチマークで実験。 - 脚式移動(Ant, Humanoid, Anymal-D, Unitree H1, Go2)、巧緻操作(Shadow Hand)、飛行制御(Quadcopter)、ロボットアーム(Franka)を含む。 - 既存のRLベースラインと比較しGenPOの優位性を示した。 - 具体的な指標や実験設定の詳細は要旨からは不明。

5. 議論はある?

- diffusion policyのon-policy RL統合により、大規模並列学習と実世界ロボット展開の可能性を主張。 - 可逆性を巡るdoubled dummy action mechanismの理論的性質や限界についての議論は要旨からは不明。 - 計算コストやスケーラビリティ、実機展開の検証については要旨からは不明。

6. 次に読むべき論文は?

- PPO(on-policy RLの代表手法) - diffusion policy / flow-based policyに関する研究 - exact diffusion inversionおよびEuler-Maruyama近似に関する研究 - IsaacLabを用いた大規模並列ロボット学習の研究 - offline RL・off-policy RLにおけるdiffusion policy研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shutong Ding, Ke Hu, Shan Zhong, Haoyang Luo, Weinan Zhang, Jingya Wang, Jun Wang, Ye Shi

分類: cs.LG

原文アブストラクト

Recent advances in reinforcement learning (RL) have demonstrated the powerful exploration capabilities and multimodality of generative diffusion-based policies. While substantial progress has been made in offline RL and off-policy RL settings, integrating diffusion policies into on-policy frameworks like PPO remains underexplored. This gap is particularly significant given the widespread use of large-scale parallel GPU-accelerated simulators, such as IsaacLab, which are optimized for on-policy RL algorithms and enable rapid training of complex robotic tasks. A key challenge lies in computing state-action log-likelihoods under diffusion policies, which is straightforward for Gaussian policies but intractable for flow-based models due to irreversible forward-reverse processes and discretization errors (e.g., Euler-Maruyama approximations). To bridge this gap, we propose GenPO, a generative policy optimization framework that leverages exact diffusion inversion to construct invertible action mappings. GenPO introduces a novel doubled dummy action mechanism that enables invertibility via alternating updates, resolving log-likelihood computation barriers. Furthermore, we also use the action log-likelihood for unbiased entropy and KL divergence estimation, enabling KL-adaptive learning rates and entropy regularization in on-policy updates. Extensive experiments on eight IsaacLab benchmarks, including legged locomotion (Ant, Humanoid, Anymal-D, Unitree H1, Go2), dexterous manipulation (Shadow Hand), aerial control (Quadcopter), and robotic arm tasks (Franka), demonstrate GenPO's superiority over existing RL baselines. Notably, GenPO is the first method to successfully integrate diffusion policies into on-policy RL, unlocking their potential for large-scale parallelized training and real-world robotic deployment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI