日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習/FPGAarXiv:2109.04966

二値化Pネットワーク:FPGA上の生画像からのロボット制御を深層強化学習で実現

Binarized P-Network: Deep Reinforcement Learning of Robot Control from Raw Images on FPGA

シェア:XThreadsFacebookLINEはてブBluesky

FPGA上で動く画像入力ロボット制御のため、二値化畳み込みニューラルネットと保守的価値反復を組み合わせた強化学習アルゴリズムBPNを提案し、視覚追従タスクで有効性を示した。

著者: Yuki Kadokawa, Yoshihisa Tsurumine, Takamitsu Matsubara

分類: cs.RO

原文アブストラクト

This paper explores a Deep Reinforcement Learning (DRL) approach for designing image-based control for edge robots to be implemented on Field Programmable Gate Arrays (FPGAs). Although FPGAs are more power-efficient than CPUs and GPUs, a typical DRL method cannot be applied since they are composed of many Logic Blocks (LBs) for high-speed logical operations but low-speed real-number operations. To cope with this problem, we propose a novel DRL algorithm called Binarized P-Network (BPN), which learns image-input control policies using Binarized Convolutional Neural Networks (BCNNs). To alleviate the instability of reinforcement learning caused by a BCNN with low function approximation accuracy, our BPN adopts a robust value update scheme called Conservative Value Iteration, which is tolerant of function approximation errors. We confirmed the BPN's effectiveness through applications to a visual tracking task in simulation and real-robot experiments with FPGA.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI