日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.08602

密度輸送によるフローマッチングポリシーの強化学習

Reinforcement Learning for Flow-Matching Policies with Density Transport

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングポリシーを強化学習で微調整する新しいアルゴリズムRLDTを提案。最大エントロピーRL目的とSVGDを用いて輸送場を構築し、期待ターゲット推定で安定学習を実現。

詳しい要約

1. どんなもの?

- 連続制御問題における flow-matching policy をオンライン強化学習 (RL) で fine-tuning する手法 RLDT を提案。 - 鍵となる着想は、RL による policy improvement を「行動密度を高報酬領域へ輸送する」問題と捉えること。 - これは flow matching model の輸送定式化と自然に整合する。 - 事前学習済み flow matching policy を、SVGD で構成した輸送場に整合させるよう fine-tune する。

2. 先行研究と比べてどこがすごい?

- 先行手法は現在または最適 policy 分布を近似するか distillation に頼っており、バイアス付き勾配や多峰性モデリング能力の犠牲を招く。 - RLDT は maximum-entropy RL 目的から SVGD で輸送場を構成し、事前学習済み flow matching policy をそれに整合させる。 - これによりバイアス付き勾配や多峰性喪失を避けつつ fine-tuning できる点が優位。

3. 技術・手法の肝は?

- maximum-entropy RL 目的から SVGD を用いて輸送場 (transport field) を構成する。 - 事前学習済み flow matching policy をこの輸送場に整合させる alignment 目的で fine-tune する。 - flow-matching policy は多段階生成のため直接勾配最適化が困難。 - 中間 denoising step から expected-target estimation で policy action を近似し、不安定な backpropagation through time を避けて輸送場更新をネットワークパラメータへ伝播させる。

4. どうやって有効だと検証した?

- 実験で RLDT が競合 baseline を reward quality と convergence speed で上回ることを示す。 - 多様な連続制御タスクで性能を確認。 - dense reward と sparse reward の両方、および state-based と vision-based の long-horizon robot manipulation を含む。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、SVGD のハイパーパラメータ感度などについての議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究名は明示されていない。 - 関連手法として flow matching、Stein Variational Gradient Descent (SVGD)、maximum-entropy RL、distillation ベースの RL fine-tuning が挙げられる。 - 同分野の定番として diffusion policy や flow policy の RL fine-tuning 研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Boshu Lei, Kostas Daniilidis, Antonio Loquercio

分類: cs.LG, cs.AI

原文アブストラクト

We present an online reinforcement learning (RL) algorithm for fine-tuning flow-matching policies in continuous-control problems. Our key insight is to view RL-based policy improvement as a transport of action densities towards regions of high reward, which naturally aligns with the transport formulation of flow matching models. Prior methods either approximate the current or optimal policy distribution or resort to distillation, which introduces biased gradients or sacrifices multimodal modeling capacity. In contrast, our approach for RL with Density Transport, which we name \emph{RLDT}, constructs a transport field from a maximum-entropy RL objective using Stein Variational Gradient Descent (SVGD). Then, it finetunes a pretrained flow matching policy to align with this field. Training with this alignment objective is nontrivial because flow-matching policies generate actions via a multi-step process, making direct gradient-based optimization challenging. To overcome this challenge and stabilize training, we approximate policy actions from intermediate denoising steps via expected-target estimation. This allows the transport-field update to propagate into the network parameters without unstable backpropagation through time. Experimental results demonstrate that RLDT outperforms competitive baselines in reward quality and convergence speed. This performance holds across diverse continuous-control tasks, encompassing both dense and sparse rewards, as well as state- and vision-based long-horizon robot manipulation. The project webpage is \href{https://rpfey.github.io/rldt/}{https://rpfey.github.io/rldt/}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI