日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2507.21053

フローマッチング方策勾配

Flow Matching Policy Gradients

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングを方策勾配法に統合したFPOを提案し、拡散スタイルの方策を連続制御タスクで学習できることを示した。

詳しい要約

1. どんなもの?

- 連続分布をモデル化する flow-based generative models(diffusion models を含む)を、強化学習の policy gradient フレームワークに統合する on-policy アルゴリズム Flow Policy Optimization (FPO) を提案。 - 政策最適化を、conditional flow matching loss から計算される advantage-weighted ratio の最大化として定式化し、PPO-clip と互換性を持つ。 - 厳密な尤度計算を回避しつつ、flow-based models の生成能力を保持する。

2. 先行研究と比べてどこがすごい?

- 従来の diffusion-based reinforcement learning は、訓練を特定のサンプリング手法に縛る傾向があったが、FPO は訓練時・推論時の diffusion や flow integration の選択に依存しない。 - 厳密な尤度計算を必要とせず、flow matching を policy gradient に組み込む点が新しい。 - 既存の Gaussian policies と比較して、特に under-conditioned な設定でマルチモーダルな行動分布を捉え、高い性能を達成。

3. 技術・手法の肝は?

- 政策最適化を、conditional flow matching loss に基づく advantage-weighted ratio の最大化として再定式化。 - PPO-clip フレームワークと互換な目的関数を構成。 - 厳密な尤度計算を回避するため、flow matching の損失から直接 ratio を計算する仕組みを採用。 - 訓練・推論時に任意の diffusion または flow integration 手法を選択可能(agnostic)。

4. どうやって有効だと検証した?

- 様々な連続制御タスクにおいて、diffusion-style policies をゼロから訓練できることを示した。 - flow-based models がマルチモーダルな行動分布を捉え、Gaussian policies よりも高い性能を達成することを実験的に確認。 - 特に under-conditioned な設定での有効性を検証。

5. 議論はある?

- 要旨からは不明(具体的な議論や限界については言及されていない)。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法として PPO-clip、diffusion-based reinforcement learning、conditional flow matching が挙げられる。 - 同分野の定番として、Diffusion Policy、DDPM、Soft Actor-Critic などが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David McAllister, Songwei Ge, Brent Yi, Chung Min Kim, Ethan Weber, Hongsuk Choi, Haiwen Feng, Angjoo Kanazawa

分類: cs.LG, cs.RO

原文アブストラクト

Flow-based generative models, including diffusion models, excel at modeling continuous distributions in high-dimensional spaces. In this work, we introduce Flow Policy Optimization (FPO), a simple on-policy reinforcement learning algorithm that brings flow matching into the policy gradient framework. FPO casts policy optimization as maximizing an advantage-weighted ratio computed from the conditional flow matching loss, in a manner compatible with the popular PPO-clip framework. It sidesteps the need for exact likelihood computation while preserving the generative capabilities of flow-based models. Unlike prior approaches for diffusion-based reinforcement learning that bind training to a specific sampling method, FPO is agnostic to the choice of diffusion or flow integration at both training and inference time. We show that FPO can train diffusion-style policies from scratch in a variety of continuous control tasks. We find that flow-based models can capture multimodal action distributions and achieve higher performance than Gaussian policies, particularly in under-conditioned settings.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI