論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2014/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文逆強化学習ロボティクス
マルチリレーショナル連鎖を用いた逆強化学習によるロボット中心のスマートホーム
家庭内の物体状態変化をマルチリレーショナル連鎖で記述し、逆強化学習で操作者の行動を報酬関数として学習することで、動的環境下でもロボットが適切に行動選択できる手法を実機で検証した。
原題: Inverse Reinforcement Learning with Multi-Relational Chains for Robot-Centered Smart Home / Kun Li, Max Q. -H. Meng
日本語で読む → - 論文強化学習ロボティクス
過去の経験を再利用して実環境でロボット方策を効率的に改善
重要度重み付きPGPEを用い、実機ヒューマノイドが過去のサンプルデータを再利用して、事前知識や初期軌道設計なしに目標到達動作と台車棒立てを実環境で学習できることを示した。
原題: Efficient Reuse of Previous Experiences to Improve Policies in Real Environment / Norikazu Sugimoto, Voot Tangkaratt, Thijs Wensveen 他
日本語で読む → - 論文強化学習制御
時相論理制約下でのPAC型MDP学習と制御
未知の遷移確率を持つMDPにおいて、時相論理仕様を高い確率で満たす制御方針を、モデルベースのPAC-MDP手法で学習・合成するアルゴリズムを提案した。
原題: Probably Approximately Correct MDP Learning and Control With Temporal Logic Constraints / Jie Fu, Ufuk Topcu
日本語で読む → - 論文強化学習/義肢制御AI
強化学習で義肢操作の意思決定を支援する
時間差分学習と一般価値関数を用いて、ユーザーがロボットアームの制御モードを切り替えるタイミングをリアルタイムに予測し、義肢操作の負担軽減を目指した研究。
原題: Temporal-Difference Learning to Assist Human Decision Making during the Control of an Artificial Limb / Ann L. Edwards, Alexandra Kearney, Michael Rory Dawson 他
日本語で読む → - 論文強化学習stat.ML
マルチタスク方策探索
状態とタスクの両方を入力とするパラメータ化方策を学習し、複数の既知・未知タスクに汎化する単一の方策を実ロボット実験で獲得する手法を提案した。
原題: Multi-Task Policy Search / Marc Peter Deisenroth, Peter Englert, Jan Peters 他
日本語で読む → - 論文強化学習機械学習
局所方策探索の任意の局所最適解が持つ大域的性能保証
局所方策探索で得られる任意の(近似)局所最適解が、大域的な性能保証を満たすことを示し、直接方策反復との比較や実用的・理論的含意を議論した論文。
原題: Policy Search: Any Local Optimum Enjoys a Global Performance Guarantee / Bruno Scherrer, Matthieu Geist
日本語で読む → - 論文強化学習理論math.OC
方策反復法の計算量に関する上界の改良と一般化
マルコフ決定過程における方策反復法(Howard法とSimplex-PI)の収束反復回数の上界を改良し、割引率に依存しない構造的性質に基づく新たな上界も導出した理論研究。
原題: Improved and Generalized Upper Bounds on the Complexity of Policy Iteration / Bruno Scherrer
日本語で読む → - 論文強化学習機械学習
サッカードリブルタスクのための強化学習
敵にボールを奪われないようドリブルで領域を突破するタスクに対し、SarsaとCMAC関数近似を用いた強化学習を適用し、強い敵に対して約58%の成功率を達成した。
原題: Reinforcement Learning for the Soccer Dribbling Task / Arthur Carvalho, Renato Oliveira
日本語で読む → - 論文強化学習AI
適格度トレースを用いたオフポリシー学習のサーベイ
マルコフ決定過程におけるオフポリシー学習の手法を統一的に整理し、既存アルゴリズムの適応と新拡張を導出して収束性と実験的挙動を比較したサーベイ論文。
原題: Off-policy Learning with Eligibility Traces: A Survey / Matthieu Geist, Bruno Scherrer
日本語で読む → - 論文強化学習ロボティクス
Actor-Critic法による時相論理モーション制御
大規模環境での時相論理タスクを満たす確率を最大化する制御方策を、Actor-Critic型の近似動的計画法で学習する手法を提案した。
原題: Temporal Logic Motion Control using Actor-Critic Methods / Xu Chu Ding, Jing Wang, Morteza Lahijanian 他
日本語で読む → - 論文強化学習cs.NE
スパイキングニューラル学習分類器システム
各ルールをスパイキングニューラルネットで表現し、ニューロンと樹状突起の成長を進化的に構築する学習分類器システムを提案。連続値入力問題や時系列状態分解、ロボティクスシミュレーションで有効性を示した。
原題: A Spiking Neural Learning Classifier System / Gerard Howard, Larry Bull, Pier-Luca Lanzi
日本語で読む → - 論文強化学習機械学習
強化学習ロボットにおけるマルチタイムスケールのネクスティング
ロボットがTD学習を用いて0.1〜8秒先の数千の状態特徴をリアルタイムで予測する「ネクスティング」を実現し、オンライン学習の効率性と精度を示した。
原題: Multi-timescale Nexting in a Reinforcement Learning Robot / Joseph Modayil, Adam White, Richard S. Sutton
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
優先度付き行動ベース手法によるマルチエージェントQ学習を用いた自律探査
未知環境の自律探査のため、優先度ベースの行動アーキテクチャにマルチエージェントQ学習を組み合わせた手法を提案し、屋内・屋外環境で有効性を検証した。
原題: A Behavior-based Approach for Multi-agent Q-learning for Autonomous Exploration / Dip Narayan Ray, Somajyoti Majumder, Sumit Mukhopadhyay
日本語で読む → - 論文強化学習ロボティクス
最小二乗時間差分アクター・クリティック法とロボット運動制御への応用
ロボット運動の確率的モデルで時相論理タスクを満たす制御方策を求める問題を確率的Shortest Path問題に変換し、最小二乗TD学習を用いたアクター・クリティック型近似動的計画法で解く手法を提案した。
原題: Least Squares Temporal Difference Actor-Critic Methods with Applications to Robot Motion Control / Reza Moazzez Estanjini, Xu Chu Ding, Morteza Lahijanian 他
日本語で読む → - 論文強化学習AI
実践的な特徴強化学習アルゴリズムPhiMDP
履歴ベースの知覚エイリアシング解決手法として、並列テンパリングによる確率的探索で文脈木を選ぶPhiMDPを実装し、U-treeやactive-LZを上回りMC-AIXI-CTWに匹敵する性能を少ない計算資源で示した。
原題: Feature Reinforcement Learning In Practice / Phuong Nguyen, Peter Sunehag, Marcus Hutter
日本語で読む → - 論文強化学習機械学習
二重ロバスト方策評価と学習
報酬モデルと過去方策モデルのどちらかが良好なら精度を保証する二重ロバスト手法を文脈付きバンディットの方策評価・最適化に適用し、分散低減と方策改善を実証した。
原題: Doubly Robust Policy Evaluation and Learning / Miroslav Dudik, John Langford, Lihong Li
日本語で読む → - 論文強化学習AI
割引なしマルコフ決定過程のための最小相対エントロピー制御器
未知のダイナミクスを持つ割引なしMDPに対し、相対エントロピー最小化に基づくベイズ制御則(BCR-MDP)を導出し、方策空間上のノンパラメトリック共役事前分布とギブスサンプラーを提案した。探索と活用のバランスにより準最適な極限周期を回避できることを示した。
原題: A Minimum Relative Entropy Controller for Undiscounted Markov Decision Processes / Pedro A. Ortega, Daniel A. Braun
日本語で読む → - 論文強化学習AI
資格伝播による強化学習のタイムホッピング高速化
強化学習の高速化手法タイムホッピングに資格伝播を導入し、状態遷移グラフを用いて値を過去状態へ伝播させることで、二足歩行ロボットのシミュレーション学習を3倍以上加速した。
原題: Eligibility Propagation to Speed up Time Hopping for Reinforcement Learning / Petar Kormushev, Kohei Nomoto, Fangyan Dong 他
日本語で読む → - 論文強化学習AI
シミュレーション強化学習を高速化するタイムホッピング手法
シミュレーション上の強化学習を高速化するタイムホッピング手法を提案した論文(著者により改訂のため取り下げ済み)。
原題: Time Hopping technique for faster reinforcement learning in simulations / Petar Kormushev, Kohei Nomoto, Fangyan Dong 他
日本語で読む → - 論文強化学習AI
失敗時に時間を巻き戻して強化学習を加速する手法
シミュレーション内で失敗が起きた際に時間を巻き戻すことで、強化学習の学習速度と状態空間探索を改善する手法を提案した論文。
原題: Time manipulation technique for speeding up reinforcement learning in simulations / Petar Kormushev, Kohei Nomoto, Fangyan Dong 他
日本語で読む → - 論文強化学習AI
λ方策反復の性能限界とテトリスへの応用
λ方策反復の収束率限界を導出し、近似版の理論を整備した上で、テトリス制御器の学習に適用して従来の「逆説的」な結果を再検討した論文。
原題: Performance Bounds for Lambda Policy Iteration and Application to the Game of Tetris / Bruno Scherrer
日本語で読む → - 論文強化学習math.OC
部分観測環境における意思決定機械の交差エントロピー学習
部分観測マルコフ環境での最適意思決定のため、入出力付き隠れマルコフモデルを方策として用い、Rubinsteinの交差エントロピー法でパラメータを最適化する手法を提案した。
原題: Cross-Entropic Learning of a Machine for the Decision in a Partially Observable Universe / Frederic Dambreville
日本語で読む → - 論文強化学習ロボティクス
視覚搭載移動ロボットのための距離空間状態強化学習
視覚を持つ実機移動ロボット上で、手作りモデルや手動離散化なしに環境を探索しながら直接制御器を学習する手法を提案し、部分観測性にも対応できることを実機で示した。
原題: Metric State Space Reinforcement Learning for a Vision-Capable Mobile Robot / Viktor Zhumatiy, Faustino Gomez, Marcus Hutter 他
日本語で読む → - 論文強化学習AI
乏しい経験からの学習:方策評価のための尤度比推定アルゴリズム
ある方策の実行で得たデータから別の方策の価値を尤度比推定で評価し、推定と最適化を組み合わせたアルゴリズム群を提案。経験が少ない状況でも効率的に方策を学習できることを示した。
原題: Learning from Scarce Experience / Leonid Peshkin, Christian R. Shelton
日本語で読む →
PR・アフィリエイト広告
