日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.23365

スコアベース一段階MeanFlow方策最適化

Score-Based One-step MeanFlow Policy Optimization

シェア:XThreadsFacebookLINEはてブBluesky

強化学習における拡散・フローマッチング方策の多段階推論コストを削減するため、Q関数からスコア推定と確率フローODEで目標速度場を構築し、一段階生成で高価値モードに集中させる新しいアクタークリティック法SOMを提案した。

詳しい要約

1. どんなもの?

- 拡散モデルやflow matchingを強化学習のpolicyとして用いる手法は表現力が高いが、推論時に多段のdenoisingが必要で計算コストが大きい。 - MeanFlowは平均速度場を学習し、1回のネットワーク評価でnoiseからdataへ写像できるが、目標速度場の構築にtarget distributionからのサンプルが必要で、online RLでは利用できない。 - 本研究はScore-Based One-step MeanFlow Policy Optimization (SOM)を提案する。 - SOMはactor-criticアルゴリズムで、Q-functionからscore estimationとprobability flow ODEを介して目標速度場を直接構築する。 - これにより高価値モードに確率質量を集中させ、完全online RL設定でlocomotionタスクにおいて単一生成ステップでstate-of-the-art性能を達成し、訓練と推論時間を大幅に削減する。

2. 先行研究と比べてどこがすごい?

- 従来のdiffusionやflow matchingベースのpolicyは多段denoisingのため推論時計算コストが大きく、online RLでは特に問題となる。 - MeanFlowは1回のネットワーク評価で生成可能だが、目標速度場の構築にtarget distributionからのサンプルが必要でonline RLに直接適用できない。 - SOMはQ-functionからscore estimationとprobability flow ODEを用いて目標速度場を構築することで、target distributionサンプルを必要とせず、online RLでMeanFlowを実現する。 - その結果、locomotionタスクで単一生成ステップながらstate-of-the-art性能を達成し、訓練と推論時間を大幅に削減する点が先行研究と比べて優れている。

3. 技術・手法の肝は?

- SOMはactor-criticアルゴリズムである。 - Q-functionからscore estimationを行い、probability flow ODEを介して目標速度場を直接構築する。 - これにより、target distributionからのサンプルなしでMeanFlowの目標速度場を定義できる。 - 構築された目標速度場は高価値モードに確率質量を集中させるように機能する。 - 単一のネットワーク評価でnoiseからactionを生成するone-step MeanFlow policyを学習する。

4. どうやって有効だと検証した?

- 完全online RL設定においてlocomotionタスクで評価した。 - 単一生成ステップでstate-of-the-art性能を達成した。 - 従来のdiffusionベースおよびflow-matchingベースのpolicyと比較して、訓練時間と推論時間の両方を大幅に削減した。 - これらの結果から有効性が検証された。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- MeanFlow - Diffusion-based policies - Flow-matching-based policies - Score estimation - Probability flow ODE

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kyungyoon Kim, Donghyeon Ki, Hee-Jun Ahn, Byung-Jun Lee

分類: cs.LG, cs.AI

原文アブストラクト

Diffusion and flow matching have emerged as expressive policy classes in reinforcement learning, but their reliance on multi-step denoising imposes substantial computational overhead at inference time, which is particularly problematic in online RL. MeanFlow offers a promising alternative by learning an average velocity field that maps noise to data in a single network evaluation. However, MeanFlow typically requires samples from the target distribution to construct its target velocity field, which are unavailable in online RL. We propose Score-Based One-step MeanFlow Policy Optimization (SOM), an actor-critic algorithm that resolves this by constructing the target velocity field directly from the Q-function via score estimation and a probability flow ODE, thereby concentrating probability mass on high-value modes. In the fully online RL setting, SOM achieves state-of-the-art performance on locomotion tasks with a single generation step, while substantially reducing both training and inference time compared to prior diffusion- and flow-matching-based policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI