日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2006.15960

終端効果探索ドライブによる効率的な運動学習

End-Effect Exploration Drive for Effective Motor Learning

シェア:XThreadsFacebookLINEはてブBluesky

順モデルを使わずに現在の政策の効果を統計的に記録した終端効果モデルを提案し、変分自由エネルギー最小化と組み合わせて好奇心に基づく探索と外部報酬下での高速学習を実現した。

著者: Emmanuel Daucé

分類: cs.AI, cs.NE, cs.RO, q-bio.NC

原文アブストラクト

Stemming on the idea that a key objective in reinforcement learning is to invert a target distribution of effects, end-effect drives are proposed as an effective way to implement goal-directed motor learning, in the absence of an explicit forward model. An end-effect model relies on a simple statistical recording of the effect of the current policy, here used as a substitute for the more resource-demanding forward models. When combined with a reward structure, it forms the core of a lightweight variational free energy minimization setup. The main difficulty lies in the maintenance of this simplified effect model together with the online update of the policy. When the prior target distribution is uniform, it provides a ways to learn an efficient exploration policy, consistently with the intrinsic curiosity principles. When combined with an extrinsic reward, our approach is finally shown to provide a faster training than traditional off-policy techniques.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI