日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.09976

フローマッチング方策の強化学習ファインチューニングによる視覚言語行動モデルの改善

Reinforcement Fine-Tuning of Flow-Matching Policies for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングベースのVLAモデルに対し、重要度サンプリングを条件付きフローマッチング目的の変化で再定式化したFPOを提案し、オンライン強化学習による安定したファインチューニングを実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル(OpenVLA, Octo, π0 など)を対象に、オンライン強化学習で微調整する手法 Flow Policy Optimization (FPO) を提案する研究。 - flow-matching ベースのポリシーに対し、importance sampling を再定式化して RL 微調整を可能にする。 - LIBERO benchmark と ALOHA simulation task で評価。

2. 先行研究と比べてどこがすごい?

- 従来の policy gradient は flow-matching モデルで importance sampling の policy ratio 計算が困難で事実上不可能だった。 - FPO は conditional flow-matching 目的のサンプル毎の変化を利用して importance sampling を再定式化。 - supervised、preference-aligned、diffusion-based、autoregressive online RL、π0-FAST の各ベースラインに対し一貫した改善。 - sparse rewards 下でも安定学習を実現。

3. 技術・手法の肝は?

- conditional flow-matching 目的の per-sample 変化に基づく importance sampling の再定式化が中核。 - structure-aware credit assignment で勾配効率を向上。 - clipped surrogate objectives で最適化を安定化。 - multi-step latent exploration で多様なポリシー更新を促進。 - Q-ensemble でロバストな価値推定を実現。

4. どうやって有効だと検証した?

- LIBERO benchmark と ALOHA simulation task で評価。 - supervised、preference-aligned、diffusion-based、autoregressive online RL、π0-FAST と比較し一貫した改善を確認。 - ablation studies と latent space dynamics の分析で各コンポーネントの寄与を検証。 - オンライン RL 中の conditional flow-matching 目的の安定収束も確認。

5. 議論はある?

- ablation と latent space dynamics 分析により各モジュールの有効性と安定収束を示す。 - 具体的な限界や失敗ケース、計算コストの議論は要旨からは不明。 - sparse rewards 下の安定性は報告されているが、他条件での挙動は要旨からは不明。

6. 次に読むべき論文は?

- π0(FPO の適用対象かつ π0-FAST ベースラインの元) - OpenVLA、Octo(VLA モデル) - diffusion-based online RL および autoregressive online RL の関連手法 - preference-aligned 手法(DPO 系) - conditional flow-matching の原論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingyang Lyu, Yinqian Sun, Erliang Lin, Huangrui Li, Ruolin Chen, Feifei Zhao, Yi Zeng

分類: cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models such as OpenVLA, Octo, and $\pi_0$ have shown strong generalization by leveraging large-scale demonstrations, yet their performance is still fundamentally constrained by the quality and coverage of supervised data. Reinforcement learning (RL) provides a promising path for improving and fine-tuning VLAs through online interaction. However, conventional policy gradient methods are computationally infeasible in the context of flow-matching based models due to the intractability of the importance sampling process, which requires explicit computation of policy ratios. To overcome this limitation, we propose Flow Policy Optimization (FPO) algorithm, which reformulates importance sampling by leveraging per-sample changes in the conditional flow-matching objective. Furthermore, FPO achieves stable and scalable online reinforcement fine-tuning of the $\pi_0$ model by integrating structure-aware credit assignment to enhance gradient efficiency, clipped surrogate objectives to stabilize optimization, multi-step latent exploration to encourage diverse policy updates, and a Q-ensemble mechanism to provide robust value estimation. We evaluate FPO on the LIBERO benchmark and the ALOHA simulation task against supervised, preference-aligned, diffusion-based, autoregressive online RL, and $\pi_0$-FAST baselines, observing consistent improvements over the imitation prior and strong alternatives with stable learning under sparse rewards. In addition, ablation studies and analyses of the latent space dynamics further highlight the contributions of individual components within FPO, validating the effectiveness of the proposed computational modules and the stable convergence of the conditional flow-matching objective during online RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI