日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2603.04790

条件付き近位方策最適化による拡散ポリシー

Diffusion Policy through Conditional Proximal Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

拡散モデルを用いたポリシーをオン・ポリシー強化学習で効率的に訓練する新しい手法を提案。拡散過程とポリシー更新を整合させ、単純なガウス確率の評価のみで学習を可能にし、エントロピー正則化も自然に扱える。

詳しい要約

1. どんなもの?

- 拡散モデルに基づく diffusion policy を on-policy 強化学習で訓練する手法を提案。 - 従来の Gaussian policy より多様で柔軟な行動生成が可能。 - 拡散モデル下での action log-likelihood 計算が困難という課題に対処。 - 提案法は単純な Gaussian 確率の評価のみで訓練可能。 - IsaacLab と MuJoCo Playground のベンチマークで性能を検証。

2. 先行研究と比べてどこがすごい?

- 既存の diffusion と RL の統合では、action log-likelihood を全 denoising 過程で計算/近似するため、メモリと計算効率が悪い。 - 提案法は on-policy 設定で diffusion policy を訓練しつつ、単純な Gaussian 確率評価のみを要求。 - policy iteration と diffusion process を整合させる新しいパラダイム。 - 従来困難だった entropy regularization を自然に扱える。

3. 技術・手法の肝は?

- policy iteration と diffusion process を整合させることで、action log-likelihood の計算を回避。 - 単純な Gaussian 確率の評価のみで on-policy 訓練を実現。 - entropy regularization を定式化に自然に組み込む。 - 具体的なアルゴリズム名は Conditional Proximal Policy Optimization を含むが、詳細は要旨からは不明。

4. どうやって有効だと検証した?

- IsaacLab と MuJoCo Playground の多様なベンチマークタスクで実験。 - 提案法が multimodal な policy 行動を生成することを示す。 - 既存手法と比較して優れた性能を達成。 - 具体的なベースラインや指標は要旨からは不明。

5. 議論はある?

- 拡散モデル下での action log-likelihood 計算の困難さを克服する点が主な議論。 - メモリと計算効率の改善が強調されている。 - entropy regularization の組み込みが可能になった点も議論。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として diffusion policy、Gaussian policy、on-policy reinforcement learning、proximal policy optimization (PPO) が挙げられる。 - 同分野の定番として Soft Actor-Critic (SAC) や Deep Deterministic Policy Gradient (DDPG) などが考えられるが、要旨に記載はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ben Liu, Shunpeng Yang, Hua Chen

分類: cs.LG, cs.RO

原文アブストラクト

Reinforcement learning (RL) has been extensively employed in a wide range of decision-making problems, such as games and robotics. Recently, diffusion policies have shown strong potential in modeling multi-modal behaviors, enabling more diverse and flexible action generation compared to the conventional Gaussian policy. Despite various attempts to combine RL with diffusion, a key challenge is the difficulty of computing action log-likelihood under the diffusion model. This greatly hinders the direct application of diffusion policies in on-policy reinforcement learning. Most existing methods calculate or approximate the log-likelihood through the entire denoising process in the diffusion model, which can be memory- and computationally inefficient. To overcome this challenge, we propose a novel and efficient method to train a diffusion policy in an on-policy setting that requires only evaluating a simple Gaussian probability. This is achieved by aligning the policy iteration with the diffusion process, which is a distinct paradigm compared to previous work. Moreover, our formulation can naturally handle entropy regularization, which is often difficult to incorporate into diffusion policies. Experiments demonstrate that the proposed method produces multimodal policy behaviors and achieves superior performance on a variety of benchmark tasks in both IsaacLab and MuJoCo Playground.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI