日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2609.36812

提案条件付きリファインメントフローによる拡散方策の改善

Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

シェア:XThreadsFacebookLINEはてブBluesky

拡散・フロー方策のKL正則化の限界を克服するため、批評家に基づく提案選択と条件付きリファインメントフローを組み合わせたPReFlowを提案し、オフラインRLとオンライン微調整で高い性能を達成した。

詳しい要約

1. どんなもの?

- オフライン強化学習(offline RL)における拡散・フローポリシーの改善手法。 - 提案(proposal)を条件としたリファインメントフロー(Proposal-Conditioned Refinement Flows, PReFlow)を導入。 - criticに基づく提案選択と条件付きリファインメントフローを組み合わせたポリシー抽出法。 - 最終的にGaussian-smoothed behavior priorの下でGibbsポリシーを誘導するKL正則化目的関数を定式化。

2. 先行研究と比べてどこがすごい?

- 従来の拡散・フローポリシーはbehavior policyからのKLダイバージェンスを罰すると、behavior densityが低くcritic値が高い行動を抑制する問題があった。 - 直接的なbehavior proposalのリファインメントでは、Gaussianや決定論的エディタが同一提案に対する複数の分離モードを表現できず、表現力が制限されていた。 - PReFlowはリファインメントフローにより複数の高価値モードを表現可能にし、提案中心のGaussian参照で大きな行動変化を調整。 - さらにシミュレーションフリーで閉形式のadjoint matchingターゲットを利用でき、逆方向のadjoint solveを不要にした。

3. 技術・手法の肝は?

- criticベースの提案選択と条件付きリファインメントフローを同時に最適化するKL正則化目的関数を設計。 - 最適解はGaussian-smoothed behavior priorの下での最終行動に対するGibbsポリシーを誘導。 - リファインメントフローは複数の高価値モードを表現し、提案中心のGaussian参照が大きな行動変化を正則化。 - このGaussian参照により、サンプル端点とcritic勾配からシミュレーションフリーで閉形式のadjoint matchingターゲットを導出。 - 逆方向のadjoint solveなしで単一の速度回帰損失(velocity regression loss)を最適化。

4. どうやって有効だと検証した?

- 50のOGBenchタスクで評価。 - オフライン性能で競争力のある結果を示し、比較手法の中で最高の総合スコアを達成。 - オンライン微調整後、500K環境ステップで91%に到達。

5. 議論はある?

- 要旨からは不明。 - ただし、Gaussian参照による大きな行動変化の調整や、複数モード表現の有効性が示唆される。 - オンライン微調整後の性能向上が報告されているが、限界や課題については言及なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Diffusion Policy, Flow Policy, KL-regularized offline RL, Gaussian editor, deterministic editor, OGBench。 - 関連手法:Behavior Cloning, Conservative Q-Learning (CQL), Implicit Q-Learning (IQL), Diffusion-QL, IDQL, SfBC。 - 同分野の定番:Offline RL with diffusion models, Flow Matching for RL。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhyun Ha, Juho Lee, Byungwoo Park

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Diffusion and flow policies can model complex behaviors in offline reinforcement learning (RL). However, penalizing their KL divergence from the behavior policy can discourage actions having high critic values with low behavior density. Directly refining behavior proposals may be an alternative, yet Gaussian or deterministic editors limit expressiveness to represent multiple separated modes for the same proposal. In this work, we introduce Proposal-Conditioned Refinement Flows (PReFlow), a policy extraction method combining critic-based proposal selection with a conditional refinement flow. To optimize proposal selection and refinement together, we formulate a KL-regularized objective whose optimum induces a Gibbs policy over final actions under a Gaussian-smoothed behavior prior. The refinement flow can represent multiple high value modes, while a proposal-centered Gaussian reference regulates large action changes. This Gaussian reference further enables us to make use of simulation-free, closed form adjoint matching targets from sampled endpoints and critic gradients, yielding a single velocity regression loss without a backward adjoint solve. On 50 OGBench tasks, PReFlow achieves competitive offline performance and the highest aggregate score among the compared methods after online fine-tuning, reaching 91\% after 500K environment steps.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI