日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ビデオ生成RLarXiv:2605.14274

CreFlow: スパース報酬の身体化ビデオ拡散強化学習のための修正リフロー

CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルを強化学習で微調整する際、線形時相論理に基づく報酬モデルと、報酬関連領域のみを更新する新しい枠組みを提案し、操作タスクの成功率を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、embodied manipulation の video generation model (VGM) を reinforcement learning (RL) で post-training する手法 CreFlow を提案する。 - 既存の video-RL は rollout を低次の視覚指標で評価するため、操作タスクの論理的な仕様充足を捉えられない問題がある。 - そこで Linear Temporal Logic (LTL) 制約の合成としてタスク要求を自動定式化する compositional constraint-based reward model を導入する。 - さらに高次元 video generation に有効な online RL フレームワーク CreFlow を提案し、8つの bimanual manipulation タスクで下流実行成功率を 23.8 ポイント改善した。

2. 先行研究と比べてどこがすごい?

- 既存の video-RL は各 rollout を低次の視覚指標に還元して評価するため、操作タスクの合成的な仕様充足を判定できない。 - 提案する reward model はタスク要求を Linear Temporal Logic 制約の合成として自動定式化し、忠実な報酬と局所的な誤り情報を生成 video に与える。 - これにより、人間や simulator の成功ラベルとの整合性が既存手法より向上し、下流実行成功率も 23.8 ポイント改善した。

3. 技術・手法の肝は?

- タスク要求を Linear Temporal Logic (LTL) 制約の合成として自動定式化する compositional constraint-based reward model を導入。 - 高次元 video generation に有効な online RL フレームワーク CreFlow を提案。 - 設計1: credit-aware NFT loss により RL 更新を報酬に関連する領域に限定し、無関係領域への摂動を防ぐ。 - 設計2: corrective reflow loss によりグループ内の正例を補正方向の明示的推定として活用し、訓練を安定化・加速する。

4. どうやって有効だと検証した?

- 提案手法の reward judgment が既存手法より人間および simulator の成功ラベルとよく整合することを実験で示した。 - 8つの bimanual manipulation タスクにおいて、下流実行成功率を 23.8 パーセントポイント改善した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明記されていない。関連手法として video generation model (VGM)、reinforcement learning (RL)、Linear Temporal Logic (LTL)、NFT loss、reflow loss が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhenyang Ni, Yijiang Li, Ruochen Jiao, Simon Sinong Zhan, Sipeng Chen, Zhenfei Yin, Minshuo Chen, Philip Torr, Zhaoran Wang, Qi Zhu

分類: cs.CV

原文アブストラクト

Video generation models trained on heterogeneous data with likelihood-surrogate objectives can produce visually plausible rollouts that violate physical constraints in embodied manipulation. Although reinforcement-learning post-training offers a natural route to adapting VGMs, existing video-RL rewards often reduce each rollout to a low-level visual metric, whereas manipulation video evaluation requires logic-based verification of whether the rollout satisfies a compositional task specification. To fill this gap, we introduce a compositional constraint-based reward model for post-training embodied video generation models, which automatically formulates task requirements as a composition of Linear Temporal Logic constraints, providing faithful rewards and localized error information in generated videos. To achieve effective improvement in high-dimensional video generation using these reward signals, we further propose CreFlow, a novel online RL framework with two key designs: i) a credit-aware NFT loss that confines the RL update to reward-relevant regions, preventing perturbations to unrelated regions during post-training; and ii) a corrective reflow loss that leverages within-group positive samples as an explicit estimate of the correction direction, stabilizing and accelerating training. Experiments show that CreFlow yields reward judgments better aligned with human and simulator success labels than existing methods and improves downstream execution success by 23.8 percentage points across eight bimanual manipulation tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI