日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.17667

PrT-Flow: 確率計算可能なフローマッチングによる強化学習

PrT-Flow: Probability-Tractable Flow Matching for Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

各サンプリングステップを可逆にすることで確率密度を計算可能にしたフローマッチング手法を提案し、模倣学習と強化学習の両方でロボット操作タスクに成功した。

詳しい要約

1. どんなもの?

- ロボット行動の確率密度を計算可能なFlow Matching手法 - 多峰性・多段階の行動生成を保持 - 強化学習アルゴリズムで必要となる各行動の確率を提供 - 模倣学習とオンライン強化学習の両方で有効性を実証

2. 先行研究と比べてどこがすごい?

- 従来のDiffusion PolicyやFlow Matchingは確率密度計算が困難 - 提案手法はJacobian-Tractable Transformer (JTT)により各サンプリングステップを可逆にし、ヤコビ行列式を効率的に計算 - 確率密度を計算しながら多峰性・多段階生成を維持できる点が新しい - 模倣学習でDiffusion Policyと同等の性能を達成

3. 技術・手法の肝は?

- Jacobian-Tractable Transformer (JTT)で各サンプリングステップを可逆に設計 - ヤコビ行列式を効率的に計算し確率密度を算出 - Conditional Euler-step Training (CET)で有限ステップを訓練 - 瞬時速度ではなくサンプリング中の1ステップの変位を監督 - 特定の仮定下でCETがFlow MatchingのEuler-solver更新のフィッティングと同じ最小化点を持つことを証明

4. どうやって有効だと検証した?

- 模倣学習: Robomimic Liftで300エポック後96%成功、Diffusion Policy参照と同等 - オンライン強化学習: OGBench Cube-Tripleで600kステップ後96%成功 - 可逆ネットワークと計算可能な確率密度が有効なロボットポリシーを学習し、SACスタイルのactor-critic訓練をサポートすることを示す

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- Diffusion Policy (参照比較) - Flow Matching (関連手法) - SAC (actor-critic訓練の関連) - Robomimic Lift (ベンチマーク) - OGBench Cube-Triple (ベンチマーク)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Congzhong Sun, Ning Tan

分類: cs.RO, cs.AI

原文アブストラクト

Diffusion models and Flow Matching can represent flexible distributions over robot actions, but many reinforcement learning algorithms also require the probability of each action. We introduce PrT-Flow (Probability-Tractable Flow Matching), which computes probability density while retaining multimodal, multi-step action generation. Its Jacobian-Tractable Transformer (JTT) makes each sampling step invertible and enables efficient computation of its Jacobian determinant. We train these finite steps with Conditional Euler-step Training (CET), which supervises their displacement over one step during sampling rather than their instantaneous velocity. We prove that, under certain assumptions, CET has the same minimizers as fitting the Euler-solver updates of Flow Matching. PrT-Flow achieves 96% success on Robomimic Lift after 300 epochs of imitation learning, matching the diffusion policy reference, and 96% success on OGBench Cube-Triple after 600k online steps. These results demonstrate that invertible networks with tractable probability densities can learn effective robot policies and support SAC-style actor-critic training. Our code is available at https://github.com/Sunlight-zero/PrT-Flow .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI