日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:1711.09048

圧縮によるマクロ発見フレームワーク

A Compression-Inspired Framework for Macro Discovery

シェア:XThreadsFacebookLINEはてブBluesky

強化学習エージェントが過去の経験から軌道を圧縮して再利用可能なマクロ行動を発見し、新しい関連タスクをより速く解けるようにする3段階の枠組みを提案した論文。

著者: Francisco M. Garcia, Bruno C. da Silva, Philip S. Thomas

分類: cs.AI, cs.RO, cs.SY, eess.SY

原文アブストラクト

In this paper we consider the problem of how a reinforcement learning agent tasked with solving a set of related Markov decision processes can use knowledge acquired early in its lifetime to improve its ability to more rapidly solve novel, but related, tasks. One way of exploiting this experience is by identifying recurrent patterns in trajectories obtained from well-performing policies. We propose a three-step framework in which an agent 1) generates a set of candidate open-loop macros by compressing trajectories drawn from near-optimal policies; 2) evaluates the value of each macro; and 3) selects a maximally diverse subset of macros that spans the space of policies typically required for solving the set of related tasks. Our experiments show that extending the original primitive action-set of the agent with the identified macros allows it to more rapidly learn an optimal policy in unseen, but similar MDPs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI