日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2505.14139

FlowQ: エネルギー誘導フローポリシーによるオフライン強化学習

FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

エネルギー誘導フローマッチングを訓練時に取り入れ、推論時の誘導を不要にしたオフライン強化学習アルゴリズムFlowQを提案。

詳しい要約

1. どんなもの?

- 本論文は **FlowQ** とよばれる offline reinforcement learning アルゴリズムを提案している。 - 基盤は **flow matching** による生成モデルで、policy を条件付き velocity field として学習する。 - 推論時に guidance を必要とせず、学習時に **energy-guided flow matching** を取り入れる点が特徴。 - 対象は offline RL における policy 学習であり、data と energy function の組み合わせで目標分布が定義される設定を扱う。 - 生成モデルとしての flow model の訓練を改善する一般的な枠組みとしても位置づけられている。

2. 先行研究と比べてどこがすごい?

- 従来の diffusion-based policy は、weighted objective による最適化や、policy がサンプルした action を通した勾配逆伝播で学習されることが多い。 - また guidance の利用は diffusion models の sampling 時に行う研究が広く探られてきたが、training 時の guidance 導入は比較的未開拓であった。 - FlowQ は guidance を学習時に組み込み、推論時の guidance を不要にする点でこれらと異なる。 - さらに policy training time が flow sampling steps の数に対して一定であると主張しており、計算コスト面の利点を述べている。

3. 技術・手法の肝は?

- **energy-guided flow matching** を提案し、flow model の訓練を強化する。 - 目標とする energy-guided probability path を **Gaussian path** として近似することで、flow policy に対応する条件付き velocity field を学習する。 - これにより、data と energy function の結合で定義される目標分布へ向かう guided trajectory を学習時に獲得する。 - 推論時には追加の guidance を必要としない設計となっている。 - 詳細なネットワーク構成や energy の具体的定式化は要旨からは不明。

4. どうやって有効だと検証した?

- 要旨では「competitive performance」を達成したと述べられているが、比較対象のベースライン名やベンチマーク名は明記されていない。 - policy training time が flow sampling steps の数に依存せず一定であることも主張されている。 - 具体的な実験設定、データセット、評価指標、ablations は要旨からは不明。

5. 議論はある?

- 学習時 guidance により推論時 guidance を不要にする設計の利点や限界についての議論は要旨からは不明。 - Gaussian path による近似の誤差や、energy function の設計依存性に関する議論も要旨からは不明。 - offline RL における分布シフトや OOD action への対処については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照されている個別論文は明記されていない。 - 関連手法として **diffusion-based policy**、**flow matching**、**energy-guided diffusion models**、offline RL の定番手法である **CQL** や **IQL** などを次に読む候補として挙げられる。 - 特に training-time guidance を用いる diffusion/flow 系の研究と、offline RL 向け diffusion policy の研究を比較することが有用と考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marvin Alles, Nutan Chen, Patrick van der Smagt, Botond Cseke

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

The use of guidance to steer sampling toward desired outcomes has been widely explored within diffusion models, especially in applications such as image and trajectory generation. However, incorporating guidance during training remains relatively underexplored. In this work, we introduce energy-guided flow matching, a novel approach that enhances the training of flow models and eliminates the need for guidance at inference time. We learn a conditional velocity field corresponding to the flow policy by approximating an energy-guided probability path as a Gaussian path. Learning guided trajectories is appealing for tasks where the target distribution is defined by a combination of data and an energy function, as in reinforcement learning. Diffusion-based policies have recently attracted attention for their expressive power and ability to capture multi-modal action distributions. Typically, these policies are optimized using weighted objectives or by back-propagating gradients through actions sampled by the policy. As an alternative, we propose FlowQ, an offline reinforcement learning algorithm based on energy-guided flow matching. Our method achieves competitive performance while the policy training time is constant in the number of flow sampling steps.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI