日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2201.05830

物理的微分:物理的な順伝播による方策勾配の計算

Physical Derivatives: Computing policy gradients by physical forward-propagation

シェア:XThreadsFacebookLINEはてブBluesky

遷移モデルの代わりにパラメータ摂動に対する軌道の感度を学習し、実機ロボットで方策勾配を物理的に順伝播して推定する手法を提案・検証した。

著者: Arash Mehrjou, Ashkan Soleymani, Stefan Bauer, Bernhard Schölkopf

分類: cs.RO, math.DS, stat.ML

原文アブストラクト

Model-free and model-based reinforcement learning are two ends of a spectrum. Learning a good policy without a dynamic model can be prohibitively expensive. Learning the dynamic model of a system can reduce the cost of learning the policy, but it can also introduce bias if it is not accurate. We propose a middle ground where instead of the transition model, the sensitivity of the trajectories with respect to the perturbation of the parameters is learned. This allows us to predict the local behavior of the physical system around a set of nominal policies without knowing the actual model. We assay our method on a custom-built physical robot in extensive experiments and show the feasibility of the approach in practice. We investigate potential challenges when applying our method to physical systems and propose solutions to each of them.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI