日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/オフラインRLarXiv:2607.27782

RedFlow: 失敗をアクションレベルの修正へと変換するフローマッチングVLAポリシー

RedFlow: Redirect Failure into Action-Level Corrections for Flow-matching VLA Policy

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングVLAポリシー向けに、失敗データをアクションレベルの修正信号に変換するオフライン強化学習フレームワークRedFlowを提案。実世界成功率を56.7%から74.7%に向上させた。

詳しい要約

1. どんなもの?

RedFlowは、Flow-matching Vision-Language-Action (VLA)ポリシー向けの細粒度オフライン強化学習(RL)フレームワークである。展開時の分布シフトによる複合エラーを軽減するため、失敗経験をアクションレベルの修正的監督に変換する。具体的には、Context-Aware Corrective MatchingとAdaptive Redirection Objectiveの2つの主要コンポーネントから構成される。

2. 先行研究と比べてどこがすごい?

既存のオフラインRL手法は、失敗データを無視するか、軌跡レベルでしか活用せず、学習効率が低くエラーが持続する問題があった。RedFlowは、失敗をアクションレベルで活用し、成功と失敗の両方から密な監督を生成することで、混合品質データからのロバストな回復学習を可能にし、学習効率と性能を大幅に向上させる。

3. 技術・手法の肝は?

手法の肝は、(1) Context-Aware Corrective Matching: 失敗を引き起こすアクションを特定し、類似コンテキストから成功した代替アクションを修正ターゲットとして取得する。(2) Adaptive Redirection Objective: 成功アクションを強化し、望ましくないアクションを抑制し、回復可能な失敗を修正ターゲットへリダイレクトする。これにより、成功と失敗の両方の経験を密な監督に変換する。

4. どうやって有効だと検証した?

LIBEROベンチマークと3つの実世界操作タスクで評価した。最先端のオフラインRLベースラインを一貫して上回り、実世界の成功率を56.7%から74.7%に向上させた。また、強力なオンポリシー手法(PPO、GRPO、DDPO)と同等の性能を、約1桁少ないトレーニングサンプルで達成した。

5. 議論はある?

要旨からは、RedFlowがオフラインRLの学習効率と性能を改善する一方で、オンポリシー手法と同等の性能を達成するには、依然としてオフラインデータの質と量に依存する可能性がある。また、修正ターゲットの取得が類似コンテキストに依存するため、コンテキストの類似性定義が性能に影響する可能性が示唆されるが、詳細は不明。

6. 次に読むべき論文は?

要旨で参照されているオフラインRLベースラインや、オンポリシー手法(PPO、GRPO、DDPO)の論文が関連する。また、Flow-matching VLAポリシーの基礎となる研究や、ロボット操作におけるオフラインRLの一般的な手法も次に読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengyang Yan, Junhao Li, Fangqi Zhu, Zijun Wang, Quanxin Shou, Yikun Miao, Xiaoyi Pang, Zicong Hong, Song Guo

分類: cs.RO, cs.AI

原文アブストラクト

Flow-matching Vision-Language-Action (VLA) policies have shown strong potential for robotic manipulation but often suffer from compounding errors caused by distribution shifts during deployment. While offline reinforcement learning (RL) provides a practical way to improve deployed policies using rollout data, existing methods either ignore failure data or exploit it only at the trajectory level, resulting in low learning efficiency and persistent errors. We propose **RedFlow**, a fine-grained offline RL framework that redirects failure experiences into action-level corrective supervision for flow-matching VLA policies. RedFlow consists of two key components: (1) a **Context-Aware Corrective Matching** mechanism that identifies failure-inducing actions and retrieves successful alternatives from similar contexts as corrective targets, and (2) an **Adaptive Redirection Objective** that jointly reinforces successful actions, suppresses undesirable ones, and redirects recoverable failures toward corrective targets. By converting both successful and failed experiences into dense supervision, RedFlow enables robust recovery learning from mixed-quality data. Experiments on the LIBERO benchmark and three real-world manipulation tasks show that RedFlow consistently outperforms state-of-the-art offline RL baselines, improving the real-world success rate from 56.7% to 74.7%. It also matches strong on-policy methods (PPO, GRPO, and DDPO) while requiring roughly an order of magnitude fewer training samples.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI