日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:1810.07483

一人称視点の一回デモンストレーションからロボットマニピュレーションを学習するO2A

O2A: One-shot Observational learning with Action vectors

シェア:XThreadsFacebookLINEはてブBluesky

第三者視点の一回のデモ動画から、事前学習した3D-CNNで行動ベクトルを抽出し、ロボットの試行との距離を報酬として強化学習することで、視点や物体・背景・マニピュレータ形態の変化に頑健なマニピュレーション学習を実現した。

著者: Leo Pauly, Wisdom C. Agboh, David C. Hogg, Raul Fuentes

分類: cs.RO, cs.LG

原文アブストラクト

We present O2A, a novel method for learning to perform robotic manipulation tasks from a single (one-shot) third-person demonstration video. To our knowledge, it is the first time this has been done for a single demonstration. The key novelty lies in pre-training a feature extractor for creating a perceptual representation for actions that we call 'action vectors'. The action vectors are extracted using a 3D-CNN model pre-trained as an action classifier on a generic action dataset. The distance between the action vectors from the observed third-person demonstration and trial robot executions is used as a reward for reinforcement learning of the demonstrated task. We report on experiments in simulation and on a real robot, with changes in viewpoint of observation, properties of the objects involved, scene background and morphology of the manipulator between the demonstration and the learning domains. O2A outperforms baseline approaches under different domain shifts and has comparable performance with an oracle (that uses an ideal reward function).

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI