日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.06967

GenPO++: ヤコビアンフリー尤度比を用いた生成的方策最適化

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

シェア:XThreadsFacebookLINEはてブBluesky

フローベースの生成的方策を強化学習に適用する際、実行アクションの確率評価が難しい問題を、高次可逆ODEソルバーと履歴状態を利用して正確かつヤコビアンフリーな尤度比計算を実現する枠組みを提案した。大規模シミュレーションや実ロボット操作タスクで優れた性能を示した。

詳しい要約

1. どんなもの?

- 生成的なflow-based policyをon-policy RLに用いる枠組み - 可逆な生成policy最適化GenPO++を提案 - 高次可逆ODE solverでhistory stateを補助メモリに使う - 行動次元を変えず厳密逆変換を実現 - log-determinantが固定solver係数のみで決まる - Jacobian-freeなlikelihood ratio計算を可能にする

2. 先行研究と比べてどこがすごい?

- 既存flow RLは真のaction-density ratioを近似surrogateで置換しbiasを生む - またはdummy-action augmentationで厳密likelihoodを得るがpolicy空間と計算が増大 - GenPO++はaction ratio biasとdummy-action overheadを同時に回避 - 生成flow policyの表現力も保持 - 大規模simulated control, fine-tuning, real-world robotic manipulationで競争力または優位 - 訓練安定性と計算効率も改善

3. 技術・手法の肝は?

- 可逆生成policy optimization framework - history stateをauxiliary memoryとして高次可逆ODE solverに導入 - 元のaction dimensionを変えずexact inversionを実現 - 生成policy mapのlog-determinantが固定solver係数のみで決定 - これによりexactかつJacobian-freeなlikelihood-ratio computationが可能 - flow-based policyの表現力を維持

4. どうやって有効だと検証した?

- 大規模simulated controlタスクで評価 - fine-tuningタスクで評価 - real-world robotic manipulationタスクで評価 - state-of-the-art on-policy RL手法と比較し競争力または優位な性能 - 訓練安定性と計算効率の改善も確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- flow-based policies - on-policy RL - dummy-action augmentation - reversible ODE solver - likelihood-ratio computation - state-of-the-art on-policy RL methods

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ke Hu, Shutong Ding, Panxin Tao, Jingya Wang, Ye Shi

分類: cs.LG

原文アブストラクト

Generative policies provide expressive and multimodal action distributions, making them attractive for reinforcement learning (RL) in complex continuous-control tasks. Among them, flow-based policies are especially appealing because they generate actions through deterministic transport maps. However, applying such generative policies to likelihood-based on-policy learning remains limited by the difficulty of evaluating the probability of executed actions. Existing flow RL methods either replace the true action-density ratio with approximate surrogates, which can introduce biased updates, or recover exact likelihoods through dummy-action augmentation, which enlarges the policy space and increases computation. In this work, we propose GenPO++, a reversible generative policy optimization framework that uses history states as auxiliary memory in a high-order reversible ODE solver, yielding exact inversion without changing the original action dimension. The resulting generative policy map has a log-determinant determined only by fixed solver coefficients, enabling exact and Jacobian-free likelihood-ratio computation. This design preserves the expressiveness of generative flow policies while avoiding both action ratio bias and dummy-action overhead. We evaluate GenPO++ on large-scale simulated control, fine-tuning, and real-world robotic manipulation tasks, where it achieves competitive or superior performance over state-of-the-art on-policy RL methods, while improving training stability and computational efficiency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI