論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2017/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文視線制御/強化学習ロボティクス
音声・視覚情報を用いた強化学習による対話ロボットの視線制御
リカレントニューラルネットとQ学習を組み合わせ、音声と視覚の経験から人々の集団へ視線を向ける方策をロボットが自律学習する手法を提案し、Naoロボットで有効性を示した。
原題: Neural Network Based Reinforcement Learning for Audio-Visual Gaze Control in Human-Robot Interaction / Stéphane Lathuilière, Benoit Massé, Pablo Mesejo 他
日本語で読む → - 論文自動運転/強化学習機械学習
タスク分離と山登り法による深層強化学習を用いた自動運転制御
複雑な数理モデルに基づくオフライン学習とオンラインでの高速フィードフォワード評価を組み合わせ、タスク分離と山登り法を用いた勾配不要のモデルベース深層強化学習アルゴリズムを提案した。
原題: Automating Vehicles by Deep Reinforcement Learning using Task Separation with Hill Climbing / Mogens Graf Plessen
日本語で読む → - 論文強化学習機械学習
分割統治強化学習
初期状態空間をスライスに分割し、各スライスで方策を学習してから統合することで、初期状態のばらつきが大きいタスクを安定して解く強化学習手法を提案した。
原題: Divide-and-Conquer Reinforcement Learning / Dibya Ghosh, Avi Singh, Aravind Rajeswaran 他
日本語で読む → - 論文強化学習機械学習
後知恵方策勾配法
強化学習の方策勾配法に「後知恵」の仕組みを導入し、意図した目標とは別の目標達成度の情報を活用することで、疎な報酬環境でのサンプル効率を大幅に向上させた。
原題: Hindsight policy gradients / Paulo Rauber, Avinash Ummadisingu, Filipe Mutz 他
日本語で読む → - 論文逆強化学習AI
リスク感受性を考慮した逆強化学習:半パラメトリックおよびノンパラメトリック手法
人間のリスク選好を明示的に扱うため、整合的リスク尺度に基づく逆強化学習の枠組みを提案し、運転ゲーム実験で多様な運転スタイルを効率的に推定・模倣できることを示した。
原題: Risk-sensitive Inverse Reinforcement Learning via Semi- and Non-Parametric Methods / Sumeet Singh, Jonathan Lacotte, Anirudha Majumdar 他
日本語で読む → - 論文強化学習AI
圧縮によるマクロ発見フレームワーク
強化学習エージェントが過去の経験から軌道を圧縮して再利用可能なマクロ行動を発見し、新しい関連タスクをより速く解けるようにする3段階の枠組みを提案した論文。
原題: A Compression-Inspired Framework for Macro Discovery / Francisco M. Garcia, Bruno C. da Silva, Philip S. Thomas
日本語で読む → - 論文逆強化学習ロボティクス
雑音観測下での逆強化学習
専門家の軌道が連続時間の雑音付き観測しか得られない状況で、状態と行動を隠れ変数としてEMと最大エントロピー原理に基づき逆強化学習を行う手法を提案した。
原題: Inverse Reinforcement Learning Under Noisy Observations / Shervin Shahryari, Prashant Doshi
日本語で読む → - 論文強化学習ロボティクス
マップベース多方策強化学習:深層強化学習によるロボットの適応性向上
環境変化や身体損傷に素早く適応するため、異なる行動特性を持つ複数の方策を事前に学習・保存し、ベイズ最適化で適切な方策を呼び出す手法を提案した。
原題: Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning / Ayaka Kume, Eiichi Matsumoto, Kuniyuki Takahashi 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
パラメータ化ブラックボックス事前分布でモデルベース方策探索をスケールアップ
パラメータ化されたブラックボックス事前分布をモデル学習に組み込み、高次元状態・行動空間でもモデルベース方策探索を適用可能にした。6脚ロボットの歩行獲得を16〜30秒の実機試行で実現した。
原題: Using Parameterized Black-Box Priors to Scale Up Model-Based Policy Search for Robotics / Konstantinos Chatzilygeroudis, Jean-Baptiste Mouret
日本語で読む → - 論文強化学習ロボティクス
OptLayer:実世界の深層強化学習のための実用的な制約付き最適化
ニューラルネットが出力する危険な行動を制約を満たす最近傍の行動に変換する層を導入し、実機ロボットでも安全に強化学習できるようにした研究。
原題: OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World / Tu-Hoa Pham, Giovanni De Magistris, Ryuki Tachibana
日本語で読む → - 論文強化学習/着陸AI
深層強化学習によるクアッドロータの自律着陸
下向きカメラの低解像度画像のみからマーカー位置を認識し、階層型DQNでUAVをマーカー上に着陸させる手法を提案した。
原題: Autonomous Quadrotor Landing using Deep Reinforcement Learning / Riccardo Polvara, Massimiliano Patacchiola, Sanjay Sharma 他
日本語で読む → - 論文マルチタスク強化学習ロボティクス
勾配誘導による方策特化を用いたマルチタスク学習
複数の関連するロボット運動スキルを効率的に学習するため、共通表現を学ぶ統合訓練と、タスク間の不一致度に基づき重みを分割して特化させる訓練の二段階手法を提案した論文。
原題: Multi-task Learning with Gradient Guided Policy Specialization / Wenhao Yu, C. Karen Liu, Greg Turk
日本語で読む → - 論文強化学習ロボティクス
リレーニューラルネットワークによる運動スキルの拡張
複雑なロボットタスクを単純なサブタスクに分割し、ニューラルネットワークのポリシーツリーを逐次的に学習することで、成功する初期状態の範囲を段階的に広げる手法を提案した。
原題: Expanding Motor Skills through Relay Neural Networks / Visak C. V. Kumar, Sehoon Ha, C. Karen Liu
日本語で読む → - 論文強化学習機械学習
モデルベース事前分布を活用したモデルフリー強化学習
確率的ダイナミクスモデルを学習し、それをモデルフリー最適化の事前分布として組み込むことで、データ効率とコスト効率を両立させる強化学習手法を提案した。
原題: MBMF: Model-Based Priors for Model-Free Reinforcement Learning / Somil Bansal, Roberto Calandra, Kurtland Chua 他
日本語で読む → - 論文強化学習/移動ロボットロボティクス
深層強化学習による多地形ロボットのフリッパー連続制御
DDPGを用いて、フリッパー付きクローラロボットのフリッパー角度を連続的に制御するエンドツーエンドの強化学習アルゴリズムを開発した。
原題: Towards continuous control of flippers for a multi-terrain robot using deep reinforcement learning / Giuseppe Paolo, Lei Tai, Ming Liu
日本語で読む → - 論文強化学習機械学習
実演を用いた強化学習における探索問題の克服
スパース報酬の強化学習に少数の実演データを組み合わせ、ロボットアームの積み木などの長期的タスクを効率的に学習する手法を提案した。
原題: Overcoming Exploration in Reinforcement Learning with Demonstrations / Ashvin Nair, Bob McGrew, Marcin Andrychowicz 他
日本語で読む → - 論文最適制御・強化学習制御
自律ロボットのための最適制御と学習制御
最適制御と強化学習を統一的な視点から解説するETH Zurichの講義ノートで、最適制御問題の定式化から各種解法・アルゴリズムを導出し、分野間の用語や記法の対応も整理している。
原題: Optimal and Learning Control for Autonomous Robots / Jonas Buchli, Farbod Farshidian, Alexander Winkler 他
日本語で読む → - 論文モデルベース強化学習機械学習
モデルベース深層強化学習のためのニューラルネットワークダイナミクスとモデルフリーファインチューニング
中規模ニューラルネットのダイナミクスモデルとモデル予測制御を組み合わせ、ランダム行動データのみから効率的に歩行・遊泳などの運動スキルを学習し、さらにモデルフリー学習の初期化に用いることでサンプル効率を3〜5倍向上させた。
原題: Neural Network Dynamics for Model-Based Deep Reinforcement Learning with Model-Free Fine-Tuning / Anusha Nagabandi, Gregory Kahn, Ronald S. Fearing 他
日本語で読む → - 論文逆強化学習機械学習
モデルベース高次元逆強化学習のための関数近似手法
ベルマン最適方程式を常に満たす関数近似を導入し、高次元・連続状態空間の逆強化学習を効率的に解く手法を提案。計算量は行動集合の大きさに線形で、医師の熟練度評価など臨床タスクにも応用した。
原題: A Function Approximation Method for Model-based High-Dimensional Inverse Reinforcement Learning / Kun Li, Joel W. Burdick
日本語で読む → - 論文強化学習landmark
近接方策最適化アルゴリズム
強化学習のための新しい方策勾配法PPOを提案し、実装が簡単でサンプル効率が良く、ロボット歩行やAtariで従来法を上回ることを示した論文。
原題: Proximal Policy Optimization Algorithms
日本語で読む → - 論文逆強化学習機械学習
関数近似による大規模状態空間での逆強化学習
ベルマン最適方程式を常に満たす関数近似を用いて、大規模・高次元状態空間でも効率的に逆強化学習を行う手法を提案し、脊髄損傷患者のリハビリ刺激効果評価にも応用した。
原題: Inverse Reinforcement Learning in Large State Spaces via Function Approximation / Kun Li, Joel W. Burdick
日本語で読む → - 論文強化学習機械学習
後知恵経験リプレイによる疎な報酬でのロボット物体操作学習
失敗した試行も「達成した目標」として報酬を付け直す後知恵経験リプレイを提案し、二値の疎な報酬のみでロボットアームの押す・滑らす・ピック&プレースを学習、実機にも展開できることを示した。
原題: Hindsight Experience Replay / Marcin Andrychowicz, Filip Wolski, Alex Ray 他
日本語で読む → - 論文強化学習AI
逆方向カリキュラム生成による強化学習
目標状態から逆算して徐々に遠い開始状態を自動生成するカリキュラムで、スパース報酬の目標指向タスクを効率的に学習する手法を提案。
原題: Reverse Curriculum Generation for Reinforcement Learning / Carlos Florensa, David Held, Markus Wulfmeier 他
日本語で読む → - 論文逆強化学習ロボティクス
ベルマングラディエント反復によるオンライン逆強化学習
観測された行動から報酬関数を逐次推定するオンライン逆強化学習手法を提案し、ベルマングラディエント反復で効率的に更新できることを示した。
原題: Online Inverse Reinforcement Learning via Bellman Gradient Iteration / Kun Li, Joel W. Burdick
日本語で読む → - 論文逆強化学習機械学習
ベルマン勾配反復による逆強化学習
観測された行動から報酬関数を復元する逆強化学習手法を提案し、Q値と報酬の微分可能な関係を構築して勾配法で学習する。
原題: Bellman Gradient Iteration for Inverse Reinforcement Learning / Kun Li, Yanan Sui, Joel W. Burdick
日本語で読む → - 論文強化学習/飛行制御ロボティクス
強化学習によるクアッドロータの制御
強化学習で訓練したニューラルネットワークにより、状態から直接アクチュエータ指令へ写像してクアッドロータを制御する手法を提案し、シミュレーションと実機で有効性を示した。
原題: Control of a Quadrotor with Reinforcement Learning / Jemin Hwangbo, Inkyu Sa, Roland Siegwart 他
日本語で読む → - 論文強化学習ロボティクス
有限サポート基底関数によるリアルタイム分散強化学習
分散強化学習と有限サポート基底関数を組み合わせ、NAOロボットの歩行中キック制御を実時間で実現し、実行時間とメモリを大幅削減した。
原題: Toward Real-Time Decentralized Reinforcement Learning using Finite Support Basis Functions / Kenzo Lobos-Tsunekawa, David L. Leottau, Javier Ruiz-del-Solar
日本語で読む → - 論文強化学習機械学習
補間方策勾配:深層強化学習のためのオンポリシーとオフポリシーの勾配推定の融合
オンポリシーとオフポリシーの更新を理論的・実験的に融合する手法を提案し、制御変数法で既存手法を統一する枠組みを示した。
原題: Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning / Shixiang Gu, Timothy Lillicrap, Zoubin Ghahramani 他
日本語で読む → - 論文強化学習機械学習
パラメータ空間ノイズによる探索
強化学習の探索において、行動空間ではなくエージェントのパラメータにノイズを加える手法を提案し、DQN・DDPG・TRPOで従来の行動空間ノイズや進化戦略より効率的に学習できることを示した。
原題: Parameter Space Noise for Exploration / Matthias Plappert, Rein Houthooft, Prafulla Dhariwal 他
日本語で読む → - 論文強化学習/障害物回避ロボティクス
単眼視による障害物回避のための深層強化学習
単眼RGB画像のみから障害物を回避するため、Dueling構造とDouble-Qを組み合わせたD3QNを提案し、シミュレータで学習したモデルを実機ロボットへ直接転移できることを示した。
原題: Towards Monocular Vision based Obstacle Avoidance through Deep Reinforcement Learning / Linhai Xie, Sen Wang, Andrew Markham 他
日本語で読む →
PR・アフィリエイト広告
