日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/フローマッチングarXiv:2604.10962

ScoRe-Flow: スコアベース強化学習によるフローマッチングの完全な分布制御

ScoRe-Flow: Complete Distributional Control via Score-Based Reinforcement Learning for Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングポリシーを強化学習で微調整する際、スコア関数によるドリフト変調と学習可能な分散予測を組み合わせ、遷移の平均と分散を分離制御する手法を提案。D4RLや操作タスクで高速収束と成功率向上を実証。

詳しい要約

1. どんなもの?

Flow Matching (FM) ポリシーを強化学習 (RL) でファインチューニングする手法 ScoRe-Flow を提案。FM はロボティクス制御の効率的なバックボーンだが、模倣学習ではデモデータの制限を継承する。ScoRe-Flow は決定論的フローを確率的微分方程式 (SDE) に変換し、スコア関数 (log-density の勾配) によるドリフト変調と学習された分散予測を組み合わせ、確率的遷移の平均と分散を分離制御する。

2. 先行研究と比べてどこがすごい?

従来の SDE 変換手法はノイズ注入のみで探索を行うため、デモが強い事前知識を持つ場合に訓練効率が損なわれる。ScoRe-Flow はスコア関数によるドリフト変調を導入し、高確率領域へ探索を誘導して安定性を向上。スコアは速度場から閉形式で得られ、補助ネットワーク不要。D4RL locomotion で flow-based SOTA より 2.4 倍速い収束、Robomimic と Franka Kitchen で最大 5.4% 高い成功率を達成。

3. 技術・手法の肝は?

決定論的フローを SDE に変換し、スコア関数 (log-density の勾配) でドリフトを変調。スコアは速度場から閉形式で計算でき、追加ネットワーク不要。さらに学習された分散予測を組み合わせ、確率的遷移の平均と分散を分離制御 (decoupled control) する。これにより探索を高確率領域へ誘導しつつ、分散も適応的に調整。

4. どうやって有効だと検証した?

D4RL locomotion タスクで flow-based SOTA と比較し、2.4 倍速い収束を確認。Robomimic と Franka Kitchen の操作タスクで最大 5.4% 高い成功率を達成。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている flow-based SOTA や、SDE 変換による RL ファインチューニング手法 (例: ノイズ注入のみの手法) が挙げられる。具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaotian Qiu, Lukai Chen, Jinhao Li, Qi Sun, Cheng Zhuo, Guohao Dai

分類: cs.RO

原文アブストラクト

Flow Matching (FM) policies have emerged as an efficient backbone for robotic control, offering fast and expressive action generation that underpins recent large-scale embodied AI systems. However, FM policies trained via imitation learning inherit the limitations of demonstration data; surpassing suboptimal behaviors requires reinforcement learning (RL) fine-tuning. Recent methods convert deterministic flows into stochastic differential equations (SDEs) with learnable noise injection, enabling exploration and tractable likelihoods, but such noise-only control can compromise training efficiency when demonstrations already provide strong priors. We observe that modulating the drift via the score function, i.e., the gradient of log-density, steers exploration toward high-probability regions, improving stability. The score admits a closed-form expression from the velocity field, requiring no auxiliary networks. Based on this, we propose ScoRe-Flow, a score-based RL fine-tuning method that combines drift modulation with learned variance prediction to achieve decoupled control over the mean and variance of stochastic transitions. Experiments demonstrate that ScoRe-Flow achieves 2.4x faster convergence than flow-based SOTA on D4RL locomotion tasks and up to 5.4% higher success rates on Robomimic and Franka Kitchen manipulation tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI