日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2607.21302

専門家行動事前強化学習

Expert Behavior Prior Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オンライン強化学習のサンプル効率を向上させるため、オフラインデータに依存せず、オンラインリプレイバッファから専門家ポリシー事前分布を生成するQ誘導CVAEを提案し、専門家行動ガイダンスとポリシー勾配補正を統合したアルゴリズムEBPを導入した。

詳しい要約

1. どんなもの?

本論文は、オンライン強化学習(RL)のサンプル効率を向上させるための新しい手法であるExpert Behavior Prior (EBP)アルゴリズムを提案している。従来のBehavior Prior RL (BPRL)はオフラインの静的データセットからポリシー事前分布を学習するが、EBPはオンラインのreplay bufferから直接、専門家的なポリシー事前分布を生成するQ-CVAEを導入する。これにより、事前収集された専門家軌道に依存せず、高価値なアクションを生成してポリシー更新をガイドする。さらに、専門家ポリシーガイダンス(EPG)とポリシー勾配補正(PGC)を統合し、安定したポリシー改善を実現する。

2. 先行研究と比べてどこがすごい?

既存のBPRL手法は静的オフラインデータセットに依存しており、データの多様性が低く、軌道品質が最適でないことが多い。この制限がポリシー事前分布の有効性を損ない、オンライン学習中の探索効率と安定性を低下させる。EBPはオフライン事前学習を排除し、オンラインのreplay bufferから直接専門家ポリシー事前分布を生成することで、これらの問題を回避している。これにより、より多様で高品質なアクションを生成でき、ポリシーの活用と安定性が向上する。

3. 技術・手法の肝は?

EBPの核心は、Q-guided conditional variational autoencoder (Q-CVAE)を用いて、オンラインのreplay bufferから専門家ポリシー事前分布を学習することである。Q-CVAEは状態を条件として高価値なアクションを生成する。さらに、expert policy guidance (EPG)メカニズムは、生成されたサポートセットから専門家アクションを選択し、ポリシー更新をガイドする。また、policy gradient correction (PGC)モジュールは、Q-guidanceと専門家の監督を調和させ、安定した一貫性のあるポリシー改善を促進する。

4. どうやって有効だと検証した?

ロボット制御ベンチマーク(Gym, PyBullet)と産業制御ベンチマーク(DMControl)で広範な実験を行い、EBPが最先端のオンラインRLアルゴリズムと比較して、サンプル効率と収束の安定性において有意に優れていることを示した。

5. 議論はある?

要旨からは、EBPの限界や潜在的な欠点についての議論は明示されていない。ただし、オンラインのreplay bufferから専門家ポリシーを生成するため、初期の学習段階ではreplay bufferに高品質なデータが少なく、専門家ポリシーの品質が低下する可能性が考えられるが、要旨ではこの点について言及がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、Behavior Prior RL (BPRL)の既存手法や、オフライン事前学習を用いたRL手法が挙げられる。具体的には、オフラインRLから事前分布を学習する手法や、CVAEを用いたポリシー生成に関する研究が関連する。また、Q-learningやpolicy gradient法などの基本的なRLアルゴリズムも関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gong Gao, Weidong Zhao, Xianhui Liu, Ning Jia

分類: cs.AI

原文アブストラクト

Behavior prior reinforcement learning (BPRL) has emerged as a promising paradigm to improve sample efficiency in online reinforcement learning (RL) by leveraging policy priors derived from offline demonstrations. However, most existing BPRL methods rely on static offline datasets, which often suffer from low data diversity and suboptimal trajectory quality. This reliance restricts the effectiveness of policy priors, hindering both policy exploitation and stability during online training. Consequently, agents are prone to inefficient exploration and unstable learning dynamics. To address these limitations, we deviate from existing offline pre-training methods and propose an Expert Behavior Prior (EBP) algorithm. Specifically, we introduce a Q-guided conditional variational autoencoder (Q-CVAE) that learns to generate expert policy priors directly from the online replay buffer. This enables the generation of high-value actions for guiding policy updates without relying on pre-collected expert trajectories. To further enhance policy exploitation, we propose an expert policy guidance (EPG) mechanism that selects expert actions from a generative support set, and we integrate a policy gradient correction (PGC) module to harmonize Q-guidance with expert supervision, promoting stable and consistent policy improvement. Extensive experiments conducted on robotic control (Gym, PyBullet) and industrial control (DMControl) benchmarks demonstrate that EBP significantly outperforms state-of-the-art online RL algorithms, achieving higher sample efficiency and more stable convergence.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI