日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2207.01115

USHER: 後知恵経験再生のための不偏サンプリング

USHER: Unbiased Sampling for Hindsight Experience Replay

シェア:XThreadsFacebookLINEはてブBluesky

後知恵経験再生(HER)が確率的環境で価値関数に偏りを生む問題を、重点サンプリングに基づく漸近的に不偏な手法で解決し、ロボット制御タスクで有効性を示した論文。

著者: Liam Schramm, Yunfu Deng, Edgar Granados, Abdeslam Boularias

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Dealing with sparse rewards is a long-standing challenge in reinforcement learning (RL). Hindsight Experience Replay (HER) addresses this problem by reusing failed trajectories for one goal as successful trajectories for another. This allows for both a minimum density of reward and for generalization across multiple goals. However, this strategy is known to result in a biased value function, as the update rule underestimates the likelihood of bad outcomes in a stochastic environment. We propose an asymptotically unbiased importance-sampling-based algorithm to address this problem without sacrificing performance on deterministic environments. We show its effectiveness on a range of robotic systems, including challenging high dimensional stochastic environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI