論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/3/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文自動運転/強化学習機械学習
統合意思決定と制御:解釈可能で計算効率の高い自動運転知能に向けて
自動運転の意思決定と制御を階層的に分解し、モデルベース強化学習で近似求解することで、解釈性と計算効率を両立させたフレームワークを提案した論文。
原題: Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence / Yang Guan, Yangang Ren, Qi Sun 他
日本語で読む → - 論文強化学習ロボティクス
効率的な強化学習のための潜在行動空間を学習するLASER
類似タスクの軌道データから変分エンコーダ・デコーダで元の行動を潜在行動空間に写像し、その空間で強化学習を行うことでサンプル効率を改善する手法を提案した。
原題: LASER: Learning a Latent Action Space for Efficient Reinforcement Learning / Arthur Allshire, Roberto Martín-Martín, Charles Lin 他
日本語で読む → - 論文階層強化学習画像認識
目標関係グラフを用いた階層型部分観測目標駆動方策学習
目標空間内の関係をディリクレ・カテゴリカル過程で捉える目標関係グラフを導入し、高レベルがサブゴールを生成、低レベルが最適方策を学習する二層階層強化学習を提案。未見環境や新規目標への汎化性能をグリッドワールドとロボット物体探索で示した。
原題: Hierarchical and Partially Observable Goal-driven Policy Learning with Goals Relational Graph / Xin Ye, Yezhou Yang
日本語で読む → - 論文UAV/強化学習AI
視覚に基づく深層強化学習によるUAV障害物回避
UAVの障害物回避のため、収束誤差と時間閾値を用いる手法と、ガウス混合分布で次状態を予測するドメインネットワークによる誘導手法の2つで探索を改善し、3Dシミュレーションで平均報酬を従来比2倍にした論文。
原題: A Vision Based Deep Reinforcement Learning Algorithm for UAV Obstacle Avoidance / Jeremy Roghair, Kyungtae Ko, Amir Ehsan Niaraki Asli 他
日本語で読む → - 論文強化学習/自動運転ロボティクス
自動運転レースのための報酬信号設計
F1/10スケールの自動運転レースにおいて、位置・速度・行動に基づく報酬設計を比較し、最適軌道に対する距離と速度を報酬とする新手法が最速ラップタイムを達成することを示した。
原題: Reward Signal Design for Autonomous Racing / Benjamin Evans, Herman A. Engelbrecht, Hendrik W. Jordaan
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
MAMBPO: 学習した世界モデルを用いたサンプル効率の高いマルチロボット強化学習
複数ロボットの強化学習において、学習した世界モデルを活用することで少ない試行回数で効率的に方策を学習する手法MAMBPOを提案し、シミュレーションで有効性を示した論文。
原題: MAMBPO: Sample-efficient multi-robot reinforcement learning using learned world models / Daniël Willemsen, Mario Coppola, Guido C. H. E. de Croon
日本語で読む → - 論文マルチエージェント/強化学習環境ロボティクス
マルチエージェント・クアッドコプター制御の強化学習のためのPyBullet物理演算Gym環境
Bullet物理エンジンを用いた複数クアッドコプター向けのOpenAI Gym風オープンソース環境を提案し、マルチエージェント・視覚ベースの強化学習インターフェースや衝突・空力効果を備え、制御と強化学習の両面で応用例を示した。
原題: Learning to Fly -- a Gym Environment with PyBullet Physics for Reinforcement Learning of Multi-agent Quadcopter Control / Jacopo Panerati, Hehui Zheng, SiQi Zhou 他
日本語で読む → - 論文強化学習/安全制御ロボティクス
安全性と有効性を両立する制御方策のモデルフリー学習
未知のMDP環境において、安全性を最優先しつつLTL仕様の充足確率と制御性能報酬を最大化するモデルフリー強化学習アルゴリズムを提案した論文。
原題: Model-Free Learning of Safe yet Effective Controllers / Alper Kamil Bozkurt, Yu Wang, Miroslav Pajic
日本語で読む → - 論文強化学習/マルチエージェント機械学習
深層潜在空間競争:潜在空間における視覚制御ポリシーの競争学習
学習した世界モデルの潜在空間内で自己対戦を想像し、画像入力から競争的な視覚制御ポリシーを強化学習する手法を提案し、マルチエージェントレースベンチマークで有効性を示した。
原題: Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space / Wilko Schwarting, Tim Seyde, Igor Gilitschenski 他
日本語で読む → - 論文強化学習機械学習
方策拡張による深層強化学習の高速収束のための探索戦略
帰納的行列補完を用いて未探索の状態行動ペアの価値を補完し、初期段階から高価値な行動を取れるようにする方策拡張アルゴリズムを提案し、深層強化学習の収束を高速化した。
原題: Policy Augmentation: An Exploration Strategy for Faster Convergence of Deep Reinforcement Learning Algorithms / Arash Mahyari
日本語で読む → - 論文強化学習AI
マスターなしでスキルを学ぶ:逐次マルチポリシー強化学習アルゴリズム
階層的なマスターポリシーを使わずに、複数のサブポリシーを逐次的に学習するSequential Soft Option Criticを提案し、3DナビゲーションやAtari、自動運転シミュレータで既存手法を上回る性能を示した論文。
原題: Learning Skills to Navigate without a Master: A Sequential Multi-Policy Reinforcement Learning Algorithm / Ambedkar Dukkipati, Rajarshi Banerjee, Ranga Shaarad Ayyagari 他
日本語で読む → - 論文深層強化学習ロボティクス
実世界ロボットのための深層強化学習の訓練法:我々が学んだ教訓
実ロボットに深層強化学習を適用した複数のケーススタディを通じ、実環境特有の課題と対処法、未解決の課題を整理したレビュー論文。
原題: How to Train Your Robot with Deep Reinforcement Learning; Lessons We've Learned / Julian Ibarz, Jie Tan, Chelsea Finn 他
日本語で読む → - 論文自動運転/強化学習機械学習
仮想記憶で安定して運転を学習する
高次元の画像入力から潜在状態と潜在ダイナミクスモデルを学習し、想像上の軌跡を仮想記憶として方策学習に用いることで、データ効率と学習安定性を高めた自動運転向け強化学習手法を提案した。
原題: Steadily Learn to Drive with Virtual Memory / Yuhang Zhang, Yao Mu, Yujie Yang 他
日本語で読む → - 論文強化学習機械学習
スパース注意で動的に価値を見積もるマルチシーン強化学習
同一タスクの複数シーンを別々のMDPとして扱い、状態とMDPに依存する結合価値関数をスパース注意機構で近似する動的価値推定手法を提案した論文。
原題: Sparse Attention Guided Dynamic Value Estimation for Single-Task Multi-Scene Reinforcement Learning / Jaskirat Singh, Liang Zheng
日本語で読む → - 論文強化学習/時相論理AI
確率的ゲームにおける時相タスクの最適戦略学習
環境モデルが未知でもLTL仕様を満たす制御器を、確率的ゲームとしてモデル化しモデルフリー強化学習で学習する手法を提案。
原題: Learning Optimal Strategies for Temporal Tasks in Stochastic Games / Alper Kamil Bozkurt, Yu Wang, Michael M. Zavlanos 他
日本語で読む → - 論文オフライン強化学習機械学習
COMBO: 保守的なオフラインモデルベース方策最適化
学習したダイナミクスモデルでのロールアウトから得た分布外状態行動ペアで価値関数を正則化し、明示的な不確実性推定なしに保守的なオフライン強化学習を実現した手法。
原題: COMBO: Conservative Offline Model-Based Policy Optimization / Tianhe Yu, Aviral Kumar, Rafael Rafailov 他
日本語で読む → - 論文深層強化学習機械学習
深層強化学習における大規模ネットワークの学習手法
DenseNet接続の広いネットワーク、表現学習とRL学習の分離、分散学習の3手法を組み合わせ、深層強化学習で大規模ネットワークを安定に学習させ性能向上を実現した。
原題: Training Larger Networks for Deep Reinforcement Learning / Kei Ota, Devesh K. Jha, Asako Kanezaki
日本語で読む → - 論文視覚強化学習機械学習
効率的注意機構で視覚強化学習を高解像度化する
効率的な注意アルゴリズムを強化学習に導入し、注意ボトルネック型の視覚エージェントを高解像度入力や小さなパッチ(画素単位)までスケール可能にし、汎化性能を向上させた。
原題: Unlocking Pixels for Reinforcement Learning via Implicit Attention / Krzysztof Marcin Choromanski, Deepali Jain, Wenhao Yu 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
専門家デモンストレーションを活用した都市自動運転のための改良深層強化学習
強化学習と模倣学習を組み合わせ、専門家のデモンストレーションを優先経験再生で活用することで、都市交差点での縦方向車両制御を効率的かつ安全に学習する手法を提案した論文。
原題: Improved Deep Reinforcement Learning with Expert Demonstrations for Urban Autonomous Driving / Haochen Liu, Zhiyu Huang, Jingda Wu 他
日本語で読む → - 論文モデルベース強化学習機械学習
モデル不変状態抽象化によるモデルベース強化学習
行動の影響が局所的である因果的疎性を利用し、未見状態への組合せ的汎化を可能にする新たな状態抽象化「モデル不変性」を提案し、MuJoCo Humanoid等でサンプル効率の向上を示した論文。
原題: Model-Invariant State Abstractions for Model-Based Reinforcement Learning / Manan Tomar, Amy Zhang, Roberto Calandra 他
日本語で読む → - 論文強化学習機械学習
俳優を小さくしよう:アクター・クリティック強化学習における小型アクターでの性能維持の事例研究
アクターとクリティックのネットワーク構造を独立に設計することで、小型アクターでも同等の性能を維持できることを示し、最大99%のパラメータ削減を達成した。
原題: Honey, I Shrunk The Actor: A Case Study on Preserving Performance with Smaller Actors in Actor-Critic RL / Siddharth Mysore, Bassel Mabsout, Renato Mancuso 他
日本語で読む → - 論文階層強化学習AI
論理オプションフレームワーク
タスクをオートマトンで表現し階層強化学習に統合することで、複雑な規則を満たす最適で合成可能な方策を効率的に学習するフレームワークを提案。
原題: The Logical Options Framework / Brandon Araki, Xiao Li, Kiran Vodrahalli 他
日本語で読む → - 論文強化学習機械学習
バイアス低減マルチステップ後知恵経験再生による効率的なマルチゴール強化学習
マルチゴール強化学習においてnステップの後知恵リラベリングがもたらすオフポリシーバイアスを理論的・実験的に示し、λリターンやモデルベース価値展開でバイアスを低減するMHER(λ)とMMHERを提案した論文。
原題: Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning / Rui Yang, Jiafei Lyu, Yu Yang 他
日本語で読む → - 論文運動計画/強化学習ロボティクス
密集・動的環境におけるロボット運動計画のためのアドバンテージ付きアクター・クリティックアルゴリズム
連続行動空間での複雑な運動計画に適応させたアドバンテージ付きアクター・クリティック強化学習を提案し、密集・動的障害物環境で従来の価値ベースRLより高速かつ安定に収束し、成功率と到達時間を改善した。
原題: An advantage actor-critic algorithm for robotic motion planning in dense and dynamic scenarios / Chengmin Zhou, Bingding Huang, Pasi Fränti
日本語で読む → - 論文強化学習機械学習
観測干渉に頑健なQネットワークの学習
因果推論に基づくDQN(CIQ)を提案し、ノイズや画面停止などの観測干渉を補助タスクとして学習させることで、干渉下でも高い性能と頑健性を実現した。
原題: Training a Resilient Q-Network against Observational Interference / Chao-Han Huck Yang, I-Te Danny Hung, Yi Ouyang 他
日本語で読む → - 論文強化学習ロボティクス
強化学習中の時相論理制約の確率的保証付き充足
強化学習の各エピソードで時相論理制約を所望の確率で満たすため、オートマトン理論に基づき制約充足確率の下界を計算して探索行動を調整する手法を提案し、ドローンの定期配送タスクで実証した。
原題: Probabilistically Guaranteed Satisfaction of Temporal Logic Constraints During Reinforcement Learning / Derya Aksaray, Yasin Yazicioglu, Ahmet Semi Asarkaya
日本語で読む → - 論文強化学習機械学習
POMDPのための記憶ベース深層強化学習
TD3にLSTMの記憶機構を組み込んだLSTM-TD3を提案し、部分観測環境での性能を検証した論文。
原題: Memory-based Deep Reinforcement Learning for POMDPs / Lingheng Meng, Rob Gorbet, Dana Kulić
日本語で読む → - 論文強化学習cs.NE
新規性探索とエミッタによる疎報酬探索
疎報酬環境で探索と活用を交互に行うSERENEを提案し、新規性探索で探索、エミッタで報酬領域を活用する手法が既存手法より優れることを示した。
原題: Sparse Reward Exploration via Novelty Search and Emitters / Giuseppe Paolo, Alexandre Coninx, Stephane Doncieux 他
日本語で読む → - 論文強化学習機械学習
強化学習の行動探索を簡略化するための動作プリミティブの自動注釈付け
動作プリミティブの動きと行動を微分幾何学的な時空間キネマティクス記述子と重み付き最近傍分類器で自動注釈付けし、強化学習の探索を高速化する手法を提案した論文。
原題: Annotating Motion Primitives for Simplifying Action Search in Reinforcement Learning / Isaac J. Sledge, Darshan W. Bryner, Jose C. Principe
日本語で読む → - 論文強化学習機械学習
強化学習における環境設計の重要性:ロボット環境での検討
移動協働ロボットアシスタントのMDPを非線形ベルマン方程式で厳密に解き、スキーマの小さな変更が最適方策を変えることを示して環境設計の重要性を明らかにした。
原題: Importance of Environment Design in Reinforcement Learning: A Study of a Robotic Environment / Mónika Farsang, Luca Szegletes
日本語で読む →
PR・アフィリエイト広告
