日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.19717

オフライン目標条件付き強化学習のための極値フローマッチング

Extremum Flow Matching for Offline Goal Conditioned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

フローマッチングの性質を利用して学習分布の最小値・最大値を推定し、目標条件付き模倣・強化学習アルゴリズムを構築。OGBenchとTalosヒューマノイドでの実機検証を行った。

詳しい要約

1. どんなもの?

- Flow Matching を用いた offline goal-conditioned な模倣学習・強化学習手法の提案 - 学習した分布の最小値/最大値を推定する手法を導入 - 現在と goal の観測で条件付けされた policy を構成 - critic, planner, actor, world model を組み合わせた複数のアーキテクチャを比較 - OGBench と実機 Talos humanoid で検証

2. 先行研究と比べてどこがすごい?

- Diffusion models の代替として Flow Matching に着目 - Flow Matching の deterministic transport と任意の source distribution 対応を活用 - 高品質な expert demonstrations の不足を suboptimal で open-ended な play data で補う狙い - 具体的な先行研究との定量比較は要旨からは不明

3. 技術・手法の肝は?

- Flow Matching の性質を利用し分布の extremum(最小/最大)を推定 - goal-conditioned な模倣学習・強化学習アルゴリズムを構築 - policy は current observation と goal observation の両方で条件付け - critic, planner, actor, world model を様々に組み合わせた構成を探索 - 2D non-prehensile pushing タスクでデモ行動の違いも分析

4. どうやって有効だと検証した?

- OGBench benchmark 上で評価 - 2D non-prehensile pushing タスクでデータ収集時のデモ行動の影響を分析 - 実機 Talos humanoid に展開し、高次元画像観測に基づく操作を検証 - 現実的な kitchen 環境で pick-and-place と articulated object manipulation の連続タスクを実施

5. 議論はある?

- アーキテクチャ構成の違いによる性能差を比較・議論 - デモ行動の質・多様性が性能に与える影響を分析 - 実機展開での有効性と限界についての詳細は要旨からは不明 - suboptimal データ活用の利点と課題の定量的議論は要旨からは不明

6. 次に読むべき論文は?

- Flow Matching の原論文(Lipman et al. の Flow Matching) - Diffusion models との比較に関する研究 - OGBench のベンチマーク論文 - goal-conditioned imitation learning / reinforcement learning の関連研究 - humanoid robot の manipulation に関する実機研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quentin Rouxel, Clemente Donoso, Fei Chen, Serena Ivaldi, Jean-Baptiste Mouret

分類: cs.RO

原文アブストラクト

Imitation learning is a promising approach for enabling generalist capabilities in humanoid robots, but its scaling is fundamentally constrained by the scarcity of high-quality expert demonstrations. This limitation can be mitigated by leveraging suboptimal, open-ended play data, often easier to collect and offering greater diversity. This work builds upon recent advances in generative modeling, specifically Flow Matching, an alternative to Diffusion models. We introduce a method for estimating the minimum or maximum of the learned distribution by leveraging the unique properties of Flow Matching, namely, deterministic transport and support for arbitrary source distributions. We apply this method to develop several goal-conditioned imitation and reinforcement learning algorithms based on Flow Matching, where policies are conditioned on both current and goal observations. We explore and compare different architectural configurations by combining core components, such as critic, planner, actor, or world model, in various ways. We evaluated our agents on the OGBench benchmark and analyzed how different demonstration behaviors during data collection affect performance in a 2D non-prehensile pushing task. Furthermore, we validated our approach on real hardware by deploying it on the Talos humanoid robot to perform complex manipulation tasks based on high-dimensional image observations, featuring a sequence of pick-and-place and articulated object manipulation in a realistic kitchen environment. Experimental videos and code are available at: https://hucebot.github.io/extremum_flow_matching_website/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI