日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/強化学習arXiv:2606.05468

FlowPRO: フローマッチングVLAの報酬なし強化学習による微調整 - 近接化選好最適化を用いて

FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチング型VLAモデルを実ロボットに展開可能なポリシーへと微調整する、報酬なしのオフライン強化学習フレームワークFlowPROを提案。選好最適化に近接正則化を導入し、介入・ロールバックデータから高品質なポリシーを学習する。

詳しい要約

1. どんなもの?

- どんなもの? - FlowPRO: flow-matching VLAモデルを実ロボットに展開可能なポリシーへと事後学習するための、報酬不要のオフライン強化学習ファインチューニングフレームワーク。 - アルゴリズム: RPRO (Robotic Flow-matching Proximalized Preference Optimization) を提案。flow-matchingアクションヘッドに特化した選好最適化目的。 - データ: 遠隔操作による介入・ロールバックパラダイムで、単一操作から正負の軌道ペアを実機で生成。Smooth Interpolationとバッチ混合で疎な修正を密な状態監督に変換。 - 検証: 4つの長距離両腕タスクで最高成功率を達成し、4つの代表ベースラインを上回る。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - SFTやDAggerは失敗信号を間接的にしか活用できない。 - 報酬ベースRLは実世界の報酬設計と信頼できるcriticの訓練が困難。 - FlowPROは報酬不要で、flow-matching VLAに特化した選好最適化を実現。 - 単純なFlow-DPOの報酬ハッキング失敗モードを排除。 - 実機で単一操作から正負軌道ペアを自然に生成するデータ収集法を提案。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - RPRO: flow-matchingアクションヘッド向けの選好最適化目的。 - 対照的オプティマイザと明示的近位正則化器を組み合わせ、暗黙的報酬の絶対値を固定。 - これにより報酬ハッキングを排除。 - データ生成: 遠隔操作による介入・ロールバックパラダイム。 - 単一操作から正負軌道ペア(τ^w, τ^l)を実機で生成。 - Smooth Interpolationとバッチ混合: 疎な修正を密な状態監督に変換し、ベースポリシーの能力を保持。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - 4つの長距離両腕タスクで評価。 - FlowPROが最高成功率を達成し、4つの代表ベースラインを上回る。 - アブレーションにより各損失コンポーネントの寄与を確認。

5. 議論はある?

- 議論はある? - 要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - Flow-DPO (報酬ハッキング問題を指摘) - SFT, DAgger (失敗信号を間接的に活用) - 報酬ベースRL (実世界報酬設計とcritic訓練の困難) - その他、要旨で参照/比較されている研究は明記されていないため、同分野の定番としてflow-matching VLAや選好最適化関連の論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yihao Wu, He Zhang, Junbo Tan, Xueqian Wang, Zhengyou Zhang

分類: cs.RO

原文アブストラクト

Post-training Vision-Language-Action (VLA) models into policies that can be reliably deployed on real robots remains a major bottleneck. SFT and DAgger exploit failure signals only indirectly, and reward-based RL is bottlenecked by the difficulty of real-world reward design and of training reliable critics. We present FlowPRO, a reward-free offline reinforced fine-tuning framework for flow-matching VLAs. Algorithmically, we propose RPRO (Robotic Flow-matching Proximalized Preference Optimization), a preference-optimization objective tailored to the flow-matching action head of VLA models. RPRO pairs a contrastive optimizer with an explicit proximal regularizer that anchors the absolute magnitude of the implicit reward, thereby eliminating the reward-hacking failure mode of plain Flow-DPO. On the data side, a teleoperated intervention-and-rollback paradigm produces naturally paired positive and negative trajectories $(\tau^w, \tau^l)$ on a real robot from a single operator action; a Smooth Interpolation procedure, combined with batch mixing, then converts these sparse corrections into dense per-state supervision while preserving the base policy's capabilities. On four long-horizon bimanual tasks, FlowPRO attains the highest success rate, outperforming four representative baselines, and ablations confirm the contribution of each loss component.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI