日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.21427

フロー補完による単一ステップ生成方策:効率的で表現力豊かな方策学習

Flow-Based Single-Step Completion for Efficient and Expressive Policy Learning

シェア:XThreadsFacebookLINEはてブBluesky

拡張フローマッチング目的で中間フローから直接補完ベクトルを予測し、1回の推論で多様な行動を生成できる生成方策SSCPを提案。オフライン・オンラインRLで拡散モデルより高速かつ高精度を実現。

詳しい要約

1. どんなもの?

- 拡散モデルや flow-matching を用いた生成的政策は多峰的で表現力が高いが、反復サンプリングによる推論コストとサンプリング段階間の勾配伝播による学習不安定さが課題 - これを解決する Single-Step Completion Policy (SSCP) を提案 - 拡張した flow-matching 目的で学習し、中間 flow サンプルから直接的な completion vector を予測して一回の行動生成を可能にする - off-policy actor-critic 枠組みで、生成モデルの表現力と単峰政策の学習・推論効率を両立 - offline、offline-to-online、online RL に適用でき、goal-conditioned RL にも拡張

2. 先行研究と比べてどこがすごい?

- diffusion ベースのベースラインと比較して、推論速度と適応性で大きな利得 - 反復サンプリングを必要とせず、長い backpropagation chain を避けられる点が従来の生成的政策と異なる - 生成モデルの表現力を保ちつつ、単峰政策並みの学習・推論効率を狙う点が特徴 - 標準的な offline RL と behavior cloning ベンチマークで強い結果 - 具体的な数値比較は要旨からは不明

3. 技術・手法の肝は?

- 拡張した flow-matching 目的で学習する生成的政策 - 中間 flow サンプルから直接的な completion vector を予測し、one-shot の行動生成を実現 - off-policy actor-critic フレームワークに統合 - サンプリング段階をまたぐ長い backpropagation を不要にする設計 - goal-conditioned RL へ拡張し、flat な政策が明示的な階層推論なしに subgoal 構造を活用可能

4. どうやって有効だと検証した?

- 標準的な offline RL ベンチマークと behavior cloning ベンチマークで評価 - offline、offline-to-online、online RL の各設定で有効性を検証 - diffusion ベースのベースラインとの比較で速度と適応性の利得を示す - goal-conditioned RL への拡張も検証 - 具体的なベンチマーク名や数値は要旨からは不明

5. 議論はある?

- 生成モデルの表現力と単峰政策の効率性の両立を主張 - 反復サンプリングと長い backpropagation chain の回避が推論コストと学習安定性に寄与するという議論 - offline から online までスケールする汎用性を主張 - 限界や失敗ケース、計算コストの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- diffusion ベースの政策学習(diffusion policy 系) - flow-matching を用いた生成的政策 - offline RL の actor-critic 手法 - behavior cloning ベンチマーク - goal-conditioned RL における階層的手法 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prajwal Koirala, Cody Fleming

分類: cs.LG, cs.RO

原文アブストラクト

Generative models such as diffusion and flow-matching offer expressive policies for offline reinforcement learning (RL) by capturing rich, multimodal action distributions, but their iterative sampling introduces high inference costs and training instability due to gradient propagation across sampling steps. We propose the Single-Step Completion Policy (SSCP), a generative policy trained with an augmented flow-matching objective to predict direct completion vectors from intermediate flow samples, enabling accurate, one-shot action generation. In an off-policy actor-critic framework, SSCP combines the expressiveness of generative models with the training and inference efficiency of unimodal policies, without requiring long backpropagation chains. Our method scales effectively to offline, offline-to-online, and online RL settings, offering substantial gains in speed and adaptability over diffusion-based baselines. We further extend SSCP to goal-conditioned RL, enabling flat policies to exploit subgoal structures without explicit hierarchical inference. SSCP achieves strong results across standard offline RL and behavior cloning benchmarks, positioning it as a versatile, expressive, and efficient framework for deep RL and sequential decision-making. The code is available at https://github.com/PrajwalKoirala/SSCP-Single-Step-Completion-Policy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI