日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.29820

状態認識型探索を備えたデュアルフロー強化学習

Dual-Flow Reinforcement Learning with State-Aware Exploration

シェア:XThreadsFacebookLINEはてブBluesky

連続制御タスクにおいて、報酬分布と方策分布をフローマッチングで同時にモデル化し、多峰性の探索を改善する新しいアクタークリティック手法を提案した。

詳しい要約

1. どんなもの?

- 連続制御RLで、多峰な最適行動と不確実なリターン分布を扱うDual-Flow RLを提案。 - actor-criticを統合し、conditional flow matching (CFM)でリターン分布と多峰政策分布を同時にモデル化。 - Entropy-Covariance Exploration Regulator (ECER)で状態認識型の探索調整を行う。

2. 先行研究と比べてどこがすごい?

- 従来の単峰Gaussianによる価値推定は表現力が制限されバイアスが生じる。 - 近年の生成的政策は多峰行動を表現できるが、少数モードに崩壊し高価値領域の探索が不十分。 - 提案法はCFMで両分布を統合し、ECERで持続的な多峰探索を実現。 - 先行のdiffusion-based/flow-based手法を多くのタスクで大幅に上回る。

3. 技術・手法の肝は?

- conditional flow matching (CFM)を用い、連続リターン分布と多峰政策分布を同時に学習する統合actor-critic。 - Entropy-Covariance Exploration Regulator (ECER)を導入。 - ECERは政策エントロピーと行動不確実性共分散を活用し、状態に応じた探索調整を行う。

4. どうやって有効だと検証した?

- DeepMind Control SuiteとHumanoid-Benchで実験。 - ほとんどのタスクでstate-of-the-art性能を達成。 - 先行のdiffusion-basedおよびflow-based手法を有意に上回ることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されているdiffusion-basedおよびflow-based手法。 - 具体的な論文名は要旨に記載なし。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qijun Li, Zheng Fu, Qi Song, Yifei He, Weitao Zhou, Kun Jiang, Diange Yang

分類: cs.LG, cs.AI

原文アブストラクト

In complex continuous-control reinforcement learning tasks, multimodal optimal actions often coincide with uncertain, multimodal return distributions, making reliable value estimation and multimodal exploration challenging. Existing value estimation methods using unimodal Gaussians restrict expressiveness and yield biased estimates. Recent generative policies can represent multimodal actions but often collapse to a few modes and under-explore high-value areas of the action space. Motivated by these challenges, we propose Dual-Flow RL, a unified actor-critic framework that jointly models a continuous return distribution and a multimodal policy distribution using conditional flow matching (CFM). This design supports reliable value estimation and sustained multimodal exploration. To further enhance exploration, we introduce an Entropy-Covariance Exploration Regulator (ECER) that enables state-aware exploration regulation leveraging policy entropy and action-uncertainty covariance. Experiments on DeepMind Control Suite and Humanoid-Bench show that Dual-Flow RL achieves state-of-the-art performance on most tasks, significantly outperforming prior diffusion-based and flow-based methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI