日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.16618

DR-APO: 分離表現アドバンテージ誘導方策最適化 — 連続制御から身体性ナビゲーションまで

DR-APO: Decoupled-Representation Advantage-Guided Policy Optimization from Continuous Control to Embodied Navigation

シェア:XThreadsFacebookLINEはてブBluesky

方策改善と方策表現を分離し、ガウス・拡散・フローマッチング方策に共通の最適化原理を与えるDR-APOを提案。MuJoCoタスクと実世界ナビゲーションで有効性を示した。

詳しい要約

1. どんなもの?

- 強化学習(RL)における方策表現を統一する最適化手法 DR-APO を提案。 - Gaussian, diffusion, flow-matching の各政策に共通の最適化原理を提供。 - 政策改善と政策表現を分離し、advantage-guided target improvement と representation-compatible direct action fitting を組み合わせる。 - 連続制御から embodied navigation まで適用可能。

2. 先行研究と比べてどこがすごい?

- 既存の RL 手法は政策表現に依存し、生成的政策のための統一インターフェースが欠如。 - 尤度ベース目的を多段生成政策に拡張すると、内部生成過程と最適化が結合し、累積尤度比が更新信号を弱める問題があった。 - 生成政策固有の手法は複数候補生成と critic ベース選択に依存し、政策自体の改善は限定的。 - DR-APO は政策改善を政策表現から分離し、Gaussian, diffusion, flow 政策に共通の最適化原理を提供。

3. 技術・手法の肝は?

- 政策改善を政策表現から分離する「Decoupled-Representation」アプローチ。 - advantage-guided target improvement により、価値関数に基づく目標を生成。 - representation-compatible direct action fitting により、生成過程を介さず直接行動をフィッティング。 - これにより Gaussian, diffusion, flow-matching 政策に共通の最適化インターフェースを実現。

4. どうやって有効だと検証した?

- MuJoCo-v5 の5タスクで評価。 - Gaussian 政策では SAC と競合する性能。 - diffusion および flow-matching 政策では、政策のみの集計性能で最良を達成。 - NavDP の post-training により、シミュレーションで Success Rate (SR) が 70.33% から 89.55% に、実世界ナビゲーションで 25% から 65% に向上。

5. 議論はある?

- 要旨からは不明。 - ただし、統一的な政策改善原理が Gaussian, diffusion, flow 政策にわたり、連続制御学習から embodied-policy post-training まで有効であることを示唆。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:SAC(Gaussian 政策のベースライン)、diffusion policies、flow-matching policies、NavDP(embodied navigation の post-training 対象)。 - 関連手法として、advantage-guided 最適化や critic-based selection を用いる生成政策手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runhua Zhang, Yingjie Niu, Chao Li

分類: cs.LG, cs.RO

原文アブストラクト

Policy representations in reinforcement learning have expanded beyond Gaussian policies to diffusion and flow-matching based generative policies. However, existing RL methods remain representation-specific, lacking a unified optimization interface for emerging generative policies. In particular, extending likelihood-based objectives to multi-step generative policies couples optimization to their internal generation process, where accumulated likelihood ratios can weaken the update signal. Meanwhile, generative-policy-specific methods often rely on multi-candidate generation and critic-based selection, improving overall return while providing limited improvement to the policy itself. We introduce DR-APO (Decoupled-Representation Advantage-Guided Policy Optimization), which decouples policy improvement from policy representation through advantage-guided target improvement and representation-compatible direct action fitting, providing a shared optimization principle for Gaussian, diffusion, and flow policies. Across five MuJoCo-v5 tasks, DR-APO remains competitive with SAC for Gaussian policies and achieves the best aggregate policy-only performance for both diffusion and flow-matching policies. NavDP post-training improves the Success Rate (SR) from 70.33% to 89.55% in simulation and from 25% to 65% in real-world navigation. These results demonstrate a unified policy-improvement principle across Gaussian, diffusion, and flow policies, from continuous-control learning to embodied-policy post-training.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI