日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2505.19850

DISCOVER: スパース報酬強化学習のための自動カリキュラム

DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

目標タスクの方向へ探索目標を自動選択することで、スパース報酬の長期的タスクを効率的に解く強化学習手法を提案。

詳しい要約

1. どんなもの?

- スパース報酬強化学習(sparse-reward RL)における探索問題を扱う研究 - 目標条件付き(goal-conditioned)で非常に長いホライズン(very long-horizon)のタスクを対象 - 対象タスクの方向へ探索目標を選択する手法 DISCOVER を提案 - 高次元環境での評価を実施するもの

2. 先行研究と比べてどこがすごい?

- 先行研究は多数のスパース報酬タスクを解くことを目的に探索し、個々の高次元・長ホライズンタスクの探索が困難だった - DISCOVER は対象タスクに関連する単純タスクを解くことで必要な技能を獲得するという考え方に基づく - 有効な探索に必要な方向性を、事前情報なしに既存 RL アルゴリズムから抽出できることを示す - 従来の state-of-the-art 探索手法では届かない探索問題を解くことを報告

3. 技術・手法の肝は?

- 対象タスクの方向へ探索目標(exploratory goals)を選択する DISCOVER を提案 - 方向性は既存の RL アルゴリズムから抽出し、事前情報を利用しない - bandits における原理的な探索と関連付け、対象タスクが達成可能になるまでの時間を理論的に bound - bound はエージェントの初期距離で表され、全タスク空間の体積に依存しない点が特徴

4. どうやって有効だと検証した?

- 高次元環境において徹底的な評価を実施 - DISCOVER の directed goal selection が、先行 state-of-the-art 探索手法の到達範囲を超える探索問題を解くことを確認 - 詳細な実験設定・ベースライン・指標は要旨からは不明

5. 議論はある?

- 対象タスクに関連する単純タスクを解くことが重要という主張の妥当性 - 既存 RL アルゴリズムから方向性を抽出する一般性 - 理論 bound が全タスク空間の体積に依存しない点の意義 - 限界や失敗ケース、計算コストなどの詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている prior state-of-the-art exploration methods in RL(具体的名称は要旨からは不明) - goal-conditioned RL の関連手法 - bandits における principled exploration の関連研究 - スパース報酬 RL における階層的・カリキュラム学習の定番手法(一般名)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leander Diaz-Bone, Marco Bagatella, Jonas Hübotter, Andreas Krause

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Sparse-reward reinforcement learning (RL) can model a wide range of highly complex tasks. Solving sparse-reward tasks is RL's core premise, requiring efficient exploration coupled with long-horizon credit assignment, and overcoming these challenges is key for building self-improving agents with superhuman ability. Prior work commonly explores with the objective of solving many sparse-reward tasks, making exploration of individual high-dimensional, long-horizon tasks intractable. We argue that solving such challenging tasks requires solving simpler tasks that are relevant to the target task, i.e., whose achieval will teach the agent skills required for solving the target task. We demonstrate that this sense of direction, necessary for effective exploration, can be extracted from existing RL algorithms, without leveraging any prior information. To this end, we propose a method for directed sparse-reward goal-conditioned very long-horizon RL (DISCOVER), which selects exploratory goals in the direction of the target task. We connect DISCOVER to principled exploration in bandits, formally bounding the time until the target task becomes achievable in terms of the agent's initial distance to the target, but independent of the volume of the space of all tasks. We then perform a thorough evaluation in high-dimensional environments. We find that the directed goal selection of DISCOVER solves exploration problems that are beyond the reach of prior state-of-the-art exploration methods in RL.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI