日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:1901.11503

パラメータ空間と行動空間の探索を比較する:ゼロ次最適化の視点

Contrasting Exploration in Parameter and Action Space: A Zeroth-Order Optimization Perspective

シェア:XThreadsFacebookLINEはてブBluesky

パラメータ空間での探索と行動空間での探索の複雑さを理論的に比較し、それぞれが有利になる条件を明らかにした研究。

著者: Anirudh Vemula, Wen Sun, J. Andrew Bagnell

分類: cs.LG, cs.AI, cs.RO, stat.ML

原文アブストラクト

Black-box optimizers that explore in parameter space have often been shown to outperform more sophisticated action space exploration methods developed specifically for the reinforcement learning problem. We examine these black-box methods closely to identify situations in which they are worse than action space exploration methods and those in which they are superior. Through simple theoretical analyses, we prove that complexity of exploration in parameter space depends on the dimensionality of parameter space, while complexity of exploration in action space depends on both the dimensionality of action space and horizon length. This is also demonstrated empirically by comparing simple exploration methods on several model problems, including Contextual Bandit, Linear Regression and Reinforcement Learning in continuous control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI