日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2602.01156

PolicyFlow: 連続正規化フローを用いた強化学習のための方策最適化

PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

PPOに連続正規化フロー(CNF)方策を組み込み、全軌道の尤度評価を避けて速度場の変化で重要度比を近似する新手法を提案し、多様な環境で有効性を示した。

詳しい要約

1. どんなもの?

- 強化学習のon-policyアルゴリズム - PPOの枠組みでCNF(連続正規化流)をポリシーに用いる - 完全な流れ軌道に沿った尤度評価を回避 - 速度場の変化から重要度比を近似 - Brownian Regularizerでモード崩壊を防止 - 多様な環境で競争力のある性能を実現

2. 先行研究と比べてどこがすごい?

- 従来のPPOはガウス分布ポリシーに限定 - CNFポリシーは尤度評価が高コストで不安定 - 既存のflow-basedベースライン(FPO, DPPO)と比較 - 完全な流れ軌道の尤度評価が不要 - 計算オーバーヘッドを削減しつつ安定性を維持 - マルチモーダルな行動分布を捉えることが可能

3. 技術・手法の肝は?

- CNFポリシーとPPOスタイルの目的関数を統合 - 単純な補間パスに沿った速度場の変化で重要度比を近似 - 完全な流れ軌道の尤度評価を回避 - Brownian Regularizer:ブラウン運動に着想を得た暗黙のポリシーエントロピー正則化 - モード崩壊を防ぎ、多様な行動を促進 - 概念的で計算が軽量

4. どうやって有効だと検証した?

- MultiGoal, PointMaze, IsaacLab, MuJoCo Playgroundで実験 - ガウスポリシーを用いたPPOと比較 - flow-basedベースライン(FPO, DPPO)と比較 - 競争力のあるまたは優れた性能を達成 - MultiGoalでは豊かなマルチモーダル行動分布を捕捉

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- PPO (Proximal Policy Optimization) - FPO (Flow Policy Optimization) - DPPO (Diffusion Policy Optimization) - CNF (Continuous Normalizing Flow) - Flow-matching models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shunpeng Yang, Ben Liu, Hua Chen

分類: cs.LG, cs.RO

原文アブストラクト

Among on-policy reinforcement learning algorithms, Proximal Policy Optimization (PPO) demonstrates is widely favored for its simplicity, numerical stability, and strong empirical performance. Standard PPO relies on surrogate objectives defined via importance ratios, which require evaluating policy likelihood that is typically straightforward when the policy is modeled as a Gaussian distribution. However, extending PPO to more expressive, high-capacity policy models such as continuous normalizing flows (CNFs), also known as flow-matching models, is challenging because likelihood evaluation along the full flow trajectory is computationally expensive and often numerically unstable. To resolve this issue, we propose PolicyFlow, a novel on-policy CNF-based reinforcement learning algorithm that integrates expressive CNF policies with PPO-style objectives without requiring likelihood evaluation along the full flow path. PolicyFlow approximates importance ratios using velocity field variations along a simple interpolation path, reducing computational overhead without compromising training stability. To further prevent mode collapse and further encourage diverse behaviors, we propose the Brownian Regularizer, an implicit policy entropy regularizer inspired by Brownian motion, which is conceptually elegant and computationally lightweight. Experiments on diverse tasks across various environments including MultiGoal, PointMaze, IsaacLab and MuJoCo Playground show that PolicyFlow achieves competitive or superior performance compared to PPO using Gaussian policies and flow-based baselines including FPO and DPPO. Notably, results on MultiGoal highlight PolicyFlow's ability to capture richer multimodal action distributions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI