論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文自動運転/強化学習機械学習
解釈可能で高性能な自動運転ポリシーの学習
強化学習で直接最適化できる疎な決定木表現「ICCT」を提案し、自動運転で高性能かつ解釈可能なポリシーを実現した。
原題: Learning Interpretable, High-Performing Policies for Autonomous Driving / Rohan Paleja, Yaru Niu, Andrew Silva 他
日本語で読む → - 論文深層強化学習機械学習
深層強化学習のための統合型適応T-soft更新則
ターゲットネットワークの更新則T-softをAdaTermの更新則で適応化し、メインネットワークをターゲットへ引き戻す統合機構を加えたCAT-soft更新を提案・検証した論文。
原題: Consolidated Adaptive T-soft Update for Deep Reinforcement Learning / Taisuke Kobayashi
日本語で読む → - 論文自動運転/強化学習ロボティクス
密集交通の交差点ナビゲーションのためのマルチタスク安全強化学習
社会注意機構と安全層を組み合わせたマルチタスク安全強化学習により、密集交通の交差点での左折・右折・直進を安全かつ効率的に行う手法を提案し、SUMOとCARLAで有効性を示した。
原題: Multi-task Safe Reinforcement Learning for Navigating Intersections in Dense Traffic / Yuqi Liu, Qichao Zhang, Dongbin Zhao
日本語で読む → - 論文強化学習ロボティクス
ロボットが内在的動機と自動カリキュラム学習で複雑なタスクを学ぶ
タスク間の階層構造を学習し、簡単なタスクから複雑なタスクへと自動的にカリキュラムを組んで強化学習する枠組みを提案した論文。
原題: Robots Learn Increasingly Complex Tasks with Intrinsic Motivation and Automatic Curriculum Learning / Sao Mai Nguyen, Nicolas Duminy, Alexandre Manoury 他
日本語で読む → - 論文自動運転/強化学習機械学習
Human-AIコパイロット最適化による安全運転方策の効率的学習
人間の介入を限られた予算で活用し、危険な状況を回避する運転方策を強化学習で効率的に学習するHACOを提案した論文。
原題: Efficient Learning of Safe Driving Policy via Human-AI Copilot Optimization / Quanyi Li, Zhenghao Peng, Bolei Zhou
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
FCMNet:マルチエージェント系におけるチーム協調のための全通信メモリネット
複数の方向性RNNの隠れ状態を通信メッセージとして用い、マルチホップ通信プロトコルと分散方策を同時学習する強化学習手法を提案。StarCraft IIの微管理タスクと経路探索タスクで既存手法を上回る性能を示した。
原題: FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems / Yutong Wang, Guillaume Sartoretti
日本語で読む → - 論文自動運転/逆強化学習ロボティクス
深層逆強化学習によるMPC向け時空間コストマップ推論
人間の運転デモから目標条件付き時空間報酬を逆強化学習で学習し、そのコストマップをMPCに用いて手設計なしで自然な自動運転行動を実現する手法を提案した。
原題: Spatiotemporal Costmap Inference for MPC via Deep Inverse Reinforcement Learning / Keuntaek Lee, David Isele, Evangelos A. Theodorou 他
日本語で読む → - 論文強化学習ロボティクス
物理的微分:物理的な順伝播による方策勾配の計算
遷移モデルの代わりにパラメータ摂動に対する軌道の感度を学習し、実機ロボットで方策勾配を物理的に順伝播して推定する手法を提案・検証した。
原題: Physical Derivatives: Computing policy gradients by physical forward-propagation / Arash Mehrjou, Ashkan Soleymani, Stefan Bauer 他
日本語で読む → - 論文安全強化学習機械学習
安全エディタ方針による安全な強化学習
効用最大化方針が提案する危険な行動を安全な行動に変換する安全エディタ方針を学習する二方針手法SEditorを提案し、制約違反率を極めて低く抑えつつ高い効用を達成した。
原題: Towards Safe Reinforcement Learning with a Safety Editor Policy / Haonan Yu, Wei Xu, Haichao Zhang
日本語で読む → - 論文強化学習/宇宙ロボティクスロボティクス
テザーネットによる汎用的なデブリ捕獲のためのロバスト方策学習
強化学習(PPO2)とネット動力学シミュレーションを組み合わせ、様々な打ち上げ・目標条件でネットの閉鎖タイミングを決定する汎用的な制御方策を学習した論文。
原題: Learning Robust Policies for Generalized Debris Capture with an Automated Tether-Net System / Chen Zeng, Grant Hecht, Prajit KrisshnaKumar 他
日本語で読む → - 論文強化学習/フリート管理機械学習
共有自動運転車フリート管理のための深層強化学習
共有自動運転車フリートの空車移動による渋滞や駐車コストを抑えるため、強化学習で乗客待ち時間・駐車費用・空走行を最小化する手法を比較検討した研究。
原題: Deep Reinforcement Learning for Shared Autonomous Vehicles (SAV) Fleet Management / Sergio Sainz-Palacios
日本語で読む → - 論文強化学習機械学習
不確実性推定によるサンプル効率の高い深層強化学習
強化学習におけるノイズの多い価値推定を、ベイズ的不確実性推定と逆分散重み付けで軽減し、サンプル効率を改善する手法を提案した論文。
原題: Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation / Vincent Mai, Kaustubh Mani, Liam Paull
日本語で読む → - 論文自動運転/強化学習ロボティクス
ApolloRL:自動運転のための強化学習プラットフォーム
訓練・シミュレーション・評価を統合した閉ループ型の自動運転強化学習プラットフォームを提案し、300時間の実走行データとPPO/SACのベースラインを提供する。
原題: ApolloRL: a Reinforcement Learning Platform for Autonomous Driving / Fei Gao, Peng Geng, Jiaqi Guo 他
日本語で読む → - 論文強化学習ベンチマークロボティクス
視覚ベースロボティクスにおける深層強化学習アルゴリズムのベンチマーク
KukaDiverseObjectEnvとRacecarZEDGymEnvの2つの視覚ベースロボティクス問題に対し、SAC・PPO・IPGとHER併用版を比較評価し、時空間アテンションを用いた特徴抽出や中間目標の設計を提案した。
原題: Benchmarking Deep Reinforcement Learning Algorithms for Vision-based Robotics / Swagat Kumar, Hayden Sampson, Ardhendu Behera
日本語で読む → - 論文強化学習/ナビゲーションロボティクス
混雑環境における時相論理仕様下の連続制御のための深層強化学習による探索の克服
LTL仕様で与えられた複雑なタスクに対し、サンプリングベースの経路計画を組み込んだ報酬設計で探索を改善し、混雑環境での連続制御を深層強化学習で実現した。
原題: Overcoming Exploration: Deep Reinforcement Learning for Continuous Control in Cluttered Environments from Temporal Logic Specifications / Mingyu Cai, Erfan Aasi, Calin Belta 他
日本語で読む → - 論文強化学習機械学習
オペレータ深層Q学習:強化学習におけるゼロショット報酬転移
報酬関数から価値関数への写像をオペレータとして直接近似する枠組みを提案し、任意の新規報酬に対してゼロショットで価値関数を得られるようにした研究。
原題: Operator Deep Q-Learning: Zero-Shot Reward Transferring in Reinforcement Learning / Ziyang Tang, Yihao Feng, Qiang Liu
日本語で読む → - 論文強化学習/スキル転移AI
スキル転移のための情報非対称性を自動学習する階層型強化学習
階層型とKL正則化強化学習を組み合わせ、情報非対称性をデータ駆動で自動選択することで、ロボットのブロック積みなどのタスク間でスキルを効率的に転移させる手法APESを提案した論文。
原題: Priors, Hierarchy, and Information Asymmetry for Skill Transfer in Reinforcement Learning / Sasha Salter, Kristian Hartikainen, Walter Goodwin 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
グラフ畳み込み強化学習による混合交通環境でのマルチエージェント意思決定
自動運転車の協調的意思決定のため、グラフニューラルネットと深層強化学習を組み合わせた複数のGRL手法を比較し、高速道路の合流シナリオで評価した研究。
原題: Graph Convolution-Based Deep Reinforcement Learning for Multi-Agent Decision-Making in Mixed Traffic Environments / Qi Liu, Zirui Li, Xueyuan Li 他
日本語で読む → - 論文強化学習機械学習
強化学習テキストブック
ゲームAIからロボティクスまで幅広い分野で成果を上げた現代の深層強化学習アルゴリズムの原理を、統一記法と証明付きで解説した教科書。
原題: Reinforcement Learning Textbook / Sergey Ivanov
日本語で読む → - 論文報酬学習/逆強化学習ロボティクス
特徴学習を通じて報酬学習に構造を導入する手法
人間の入力を使って報酬の特徴を個別に学習し、その後それらを組み合わせる分割統治型の報酬学習を提案。深層IRLより少ないサンプルで汎化性能が向上することを7自由度マニピュレータ実験で示した。
原題: Inducing Structure in Reward Learning by Learning Features / Andreea Bobu, Marius Wiggert, Claire Tomlin 他
日本語で読む → - 論文安全強化学習機械学習
安全強化学習のための制約付き変分方策最適化
安全制約付き強化学習を確率的推論の枠組みで捉え、EMアルゴリズムにより凸最適化と教師あり学習に分解して安定に方策を学習する手法を提案した。連続ロボットタスクで制約遵守とサンプル効率の向上を示す。
原題: Constrained Variational Policy Optimization for Safe Reinforcement Learning / Zuxin Liu, Zhepeng Cen, Vladislav Isenbaev 他
日本語で読む → - 論文マイクロロボット/強化学習ロボティクス
深層強化学習で泳ぎを学ぶスマート磁性マイクロロボット
ヘリカル磁性ハイドロゲル製マイクロロボットにSoft Actor-Criticを適用し、未知の流動環境でも時変磁場で泳げる制御方策を10万ステップ未満で獲得した研究。
原題: Smart Magnetic Microrobots Learn to Swim with Deep Reinforcement Learning / Michael R. Behrens, Warren C. Ruder
日本語で読む → - 論文強化学習機械学習
エントロピー報酬は本当に必要か?SACの実践的再検討
最大エントロピーRLの代表手法SACでエントロピー報酬の効果を大規模に検証し、方策評価でのエントロピー報酬は失敗を招きやすく、方策改善のみでの正則化で同等以上の性能と頑健性が得られることを示した論文。
原題: Do You Need the Entropy Reward (in Practice)? / Haonan Yu, Haichao Zhang, Wei Xu
日本語で読む → - 論文メタ強化学習機械学習
継続的メタ方策探索
過去タスクを再訪せずに逐次的にメタ学習するCoMPSを提案し、連続制御タスク列で既存手法を上回る性能を示した。
原題: CoMPS: Continual Meta Policy Search / Glen Berseth, Zhiwei Zhang, Grace Zhang 他
日本語で読む → - 論文メタ強化学習機械学習
MESA: 安全な適応と故障耐性のためのオフラインメタ強化学習
安全・危険な振る舞いのオフラインデータからリスク指標をメタ学習し、未知の環境でも制約違反を抑えつつ素早く適応する手法MESAを提案した論文。
原題: MESA: Offline Meta-RL for Safe Adaptation and Fault Tolerance / Michael Luo, Ashwin Balakrishna, Brijen Thananjeyan 他
日本語で読む → - 論文マルチエージェント強化学習AI
連続制御のためのマルチエージェントモデルベース信用割当
ロボットの各構成要素を分散エージェントとみなし、ゲーム理論的な信用割当とモデルベースRLを組み合わせて、通信なしで動作する分散型連続制御フレームワークを提案した論文。
原題: Multiagent Model-based Credit Assignment for Continuous Control / Dongge Han, Chris Xiaoxuan Lu, Tomasz Michalak 他
日本語で読む → - 論文強化学習機械学習
学習可能なフーリエ特徴による強化学習の関数正則化
入力を学習可能なフーリエ基底に埋め込むことで、状態ベースと画像ベース両方の強化学習のサンプル効率を改善する手法を提案し、NTK解析で初期分散の調整が関数正則化に相当することを示した。
原題: Functional Regularization for Reinforcement Learning via Learned Fourier Features / Alexander C. Li, Deepak Pathak
日本語で読む → - 論文マルチロボット強化学習cs.MA
マルチロボット強化学習による地図なしナビゲーションのためのDuelingネットワークで状態価値を集中化する手法
CTDEパラダイムにおいて、集中型状態価値ネットワークでジョイント状態価値を計算し各エージェントの更新にグローバル状態情報を注入する新アーキテクチャを提案。2・4・8台のロボットナビゲーション実験でVDNやQMIXを上回る性能を示した。
原題: Centralizing State-Values in Dueling Networks for Multi-Robot Reinforcement Learning Mapless Navigation / Enrico Marchesini, Alessandro Farinelli
日本語で読む → - 論文強化学習機械学習
順序記憶でサンプル効率とメモリ効率を改善するエピソード制御
エピソードの順序情報を記憶に組み込むSequential Episodic Controlを提案し、孤立した経験をバッファする従来法より少ないサンプルとメモリで学習できることを採餌タスクで示した論文。
原題: Sequential memory improves sample and memory efficiency in Episodic Control / Ismael T. Freire, Adrián F. Amil, Paul F. M. J. Verschure
日本語で読む → - 論文強化学習/ロボティクス機械学習
未知の状況における自律エージェントのためのオンラインデータ駆動型緊急対応手法
訓練分布外の未知の状況に対し、VAEの再構成誤差の増加率を最小化する行動をベイズ最適化でオンライン選択し、約30データ点で2秒以内に衝突回避応答を生成する手法を提案。
原題: An Online Data-Driven Emergency-Response Method for Autonomous Agents in Unforeseen Situations / Glenn Maguire, Nicholas Ketz, Praveen Pilly 他
日本語で読む →
PR・アフィリエイト広告
