日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.30056

批判者ガイダンスによるサンプル効率的な拡散ベース強化学習

Sample-Efficient Diffusion-based Reinforcement Learning with Critic Guidance

シェア:XThreadsFacebookLINEはてブBluesky

拡散ポリシーを用いた強化学習において、探索と活用のバランスを改善するため、訓練不要のガイダンス技術を拡散過程に統合し、批判者ネットワークが高価値と判断する領域へ行動生成を誘導する手法CGPOを提案した。MuJoCoの5つのタスクで最先端の性能を達成した。

詳しい要約

1. どんなもの?

- 拡散モデルベースの強化学習(RL)手法 - 従来のサンプリングベースと勾配ベースのポリシー最適化の課題を解決 - Critic-Guided Diffusion Policy Optimization (CGPO) を提案 - 探索と活用のバランスを改善し、サンプル効率を向上 - MuJoCo locomotionタスクとFrankaロボットアームの把持タスクで検証

2. 先行研究と比べてどこがすごい?

- サンプリングベース手法:探索能力は高いがQ値情報の活用が不十分で収束が遅い - 勾配ベース手法:Q関数の勾配を十分活用するが単峰性ポリシーに崩壊し多様性が低い - CGPOは両者のバランスを実現し、既存の拡散RL手法より優れた性能 - 実世界RLへの拡散ポリシー適用に初めて成功

3. 技術・手法の肝は?

- 拡散ポリシーのdenoisingプロセスにtraining-free guidanceを統合 - Criticネットワークが定義する高価値領域へ行動生成を誘導 - 誘導された行動を回帰目的として使用 - 探索と活用のトレードオフを効果的にバランス

4. どうやって有効だと検証した?

- 5つのMuJoCo locomotionタスクで評価 - 既存の拡散ベースRL手法と比較しstate-of-the-art性能を達成 - Frankaロボットアームの把持タスクで実世界RLに成功

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:サンプリングベースの拡散RL手法、勾配ベースの拡散RL手法 - 関連手法:Diffusion Policy, Critic-Guided Diffusion Policy Optimization (CGPO) の基盤となる拡散モデル - 同分野の定番:Soft Actor-Critic (SAC), Deep Deterministic Policy Gradient (DDPG)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shutong Ding, Zejia Zhong, Zhongyi Wang, Ke Hu, Bikang Pan, Jingya Wang, Ye Shi

分類: cs.RO, cs.LG

原文アブストラクト

Recent advances in reinforcement learning (RL) have achieved great successes by leveraging the multimodality and exploration capability of diffusion policies. Among these approaches, one representative branch focuses on the sampling-based policy optimization. This design enables better exploration capability of the diffusion model, particularly at the beginning of training, but suffer from low exploitation in Q-value information, resulting in a slow policy convergence. Another branch pays attention to gradient-based policy optimization, which sufficiently exploits the gradient of the Q function yet tends to collapse into a unimodal policy with low diversity. To address this issue, we propose CGPO, \textbf{C}ritic-\textbf{G}uided diffusion \textbf{P}olicy \textbf{O}ptimization, which effectively balances exploration and exploitation with the training-free guidance technique integrated into the denoising process of diffusion policy. Concretely, CGPO steers action generation toward high-value regions defined by the critic network and uses the guided actions as regression objectives. In this manner, CGPO reduces the time required to obtain high-quality actions and improves final performance with better balance between the exploration-exploitation tradeoff. We validate the effectiveness of CGPO on 5 MuJoCo locomotion tasks, and CGPO achieves state-of-the-art performance compared with existing diffusion-based RL methods. Notably, CGPO is the first success to incorporate diffusion policy into real-world RL, with its superior performance on Franka robot arm grasping tasks. Our official page is released at https://dingsht.tech/cgpo-webpage.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI