日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2507.04606

補助開始状態分布を用いたオンライン強化学習の加速

Accelerated Online Reinforcement Learning using Auxiliary Start State Distributions

シェア:XThreadsFacebookLINEはてブBluesky

少数の専門家デモと任意の状態にリセット可能なシミュレータを活用し、安全概念に基づく補助開始状態分布でオンライン強化学習のサンプル効率を大幅に改善した。

詳しい要約

1. どんなもの?

- オンライン強化学習(online RL)におけるサンプル効率の改善を目的とした研究。 - 少数の expert demonstrations と任意の状態にリセット可能な simulator を活用し、補助的な開始状態分布(auxiliary start state distribution)を導入する。 - この補助分布を真の開始状態分布と異ならせても学習を加速できることを示す。 - sparse-reward かつ hard-exploration な環境で state-of-the-art のサンプル効率を達成。

2. 先行研究と比べてどこがすごい?

- 従来の効率的探索手法は、事前情報なしのゼロからの学習を前提とし、expert demonstrations や任意リセット可能な simulator を活用できていなかった。 - 本研究はこれらのリソースを探索誘導と学習加速に利用する点が新しい。 - 補助開始状態分布を真の分布と異ならせても有効であることを示し、さらに安全性の概念で分布を設計する点が先行研究と異なる。 - 結果として sparse-reward hard-exploration 環境で state-of-the-art のサンプル効率を実現。

3. 技術・手法の肝は?

- 任意リセット可能な simulator を用い、学習時の開始状態を補助分布からサンプリングする。 - この補助分布は元の MDP の真の開始状態分布と異なってよい。 - 安全性(safety)の概念を補助分布の選択に用いる。 - 安全性を episode length 情報として操作化し、それに基づいて補助分布を設計する。 - 少数の expert demonstrations も併用する。

4. どうやって有効だと検証した?

- sparse-reward かつ hard-exploration な環境において、提案手法のサンプル効率を評価。 - その結果、state-of-the-art のサンプル効率を達成したと報告。 - 具体的なベースラインや評価指標の詳細は要旨からは不明。

5. 議論はある?

- 補助開始状態分布が真の開始状態分布と異なっても学習を加速できるという知見が示された。 - 安全性の概念を episode length で操作化することが有効であると議論。 - ただし、他の環境やタスクへの一般性、安全性の他の定式化、expert demonstrations の質や数の影響については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明示されていない。 - 関連手法として、expert demonstrations を用いる imitation learning や demonstration-augmented RL、hard-exploration 向けの探索手法(例:count-based exploration、curiosity-driven exploration、Go-Explore など)が次に読む候補として考えられる。 - また、simulator の任意リセットを活用する reset-based exploration や start state distribution の設計に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Aman Mehra, Alexandre Capone, Jeff Schneider

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

A long-standing problem in online reinforcement learning (RL) is of ensuring sample efficiency, which stems from an inability to explore environments efficiently. Most attempts at efficient exploration tackle this problem in a setting where learning begins from scratch, without prior information available to bootstrap learning. However, such approaches fail to leverage expert demonstrations and simulators that can reset to arbitrary states. These affordances are valuable resources that offer enormous potential to guide exploration and speed up learning. In this paper, we explore how a small number of expert demonstrations and a simulator allowing arbitrary resets can accelerate learning during online RL. We find that training with a suitable choice of an auxiliary start state distribution that may differ from the true start state distribution of the underlying Markov Decision Process can significantly improve sample efficiency. We find that using a notion of safety to inform the choice of this auxiliary distribution significantly accelerates learning. By using episode length information as a way to operationalize this notion, we demonstrate state-of-the-art sample efficiency on a sparse-reward hard-exploration environment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI