日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習探索arXiv:1909.05508

新規性と驚きによる到達可能な結果空間の教師なし学習と探索

Unsupervised Learning and Exploration of Reachable Outcome Space

シェア:XThreadsFacebookLINEはてブBluesky

高次元観測からタスク非依存に多様な方策を探索するTAXONSを提案し、オートエンコーダで構築した低次元結果空間と再構成誤差を探索の駆動力に用いて、真の結果空間の広範囲をカバーする制御器群を獲得できることを示した。

著者: Giuseppe Paolo, Alban Laflaquière, Alexandre Coninx, Stephane Doncieux

分類: cs.RO, cs.AI, cs.LG, cs.NE

原文アブストラクト

Performing Reinforcement Learning in sparse rewards settings, with very little prior knowledge, is a challenging problem since there is no signal to properly guide the learning process. In such situations, a good search strategy is fundamental. At the same time, not having to adapt the algorithm to every single problem is very desirable. Here we introduce TAXONS, a Task Agnostic eXploration of Outcome spaces through Novelty and Surprise algorithm. Based on a population-based divergent-search approach, it learns a set of diverse policies directly from high-dimensional observations, without any task-specific information. TAXONS builds a repertoire of policies while training an autoencoder on the high-dimensional observation of the final state of the system to build a low-dimensional outcome space. The learned outcome space, combined with the reconstruction error, is used to drive the search for new policies. Results show that TAXONS can find a diverse set of controllers, covering a good part of the ground-truth outcome space, while having no information about such space.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI