論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/2/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習AI
LTL2Action:マルチタスク強化学習におけるLTL指示の汎化
線形時相論理(LTL)で記述された指示を強化学習エージェントに与え、訓練時に見ていない新しい指示にも汎化できる方策を学習する手法を提案した論文。
原題: LTL2Action: Generalizing LTL Instructions for Multi-Task RL / Pashootan Vaezipoor, Andrew Li, Rodrigo Toro Icarte 他
日本語で読む → - 論文制約付き強化学習機械学習
状態拡張による制約付き強化学習:報酬学習の限界を克服する
報酬の線形結合では最適方策が得られない制約付き強化学習問題に対し、状態にラグランジュ乗数を追加して双対ダイナミクスとして解く手法を提案し、最適方策のサンプリングを保証する。
原題: State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards / Miguel Calvo-Fullana, Santiago Paternain, Luiz F. O. Chamon 他
日本語で読む → - 論文強化学習機械学習
PPOの勾配はなぜ裾が重いのか:ロバスト推定でクリッピングを置き換える
PPOの代理報酬の勾配が重裾分布になることを実証し、その原因が尤度比とアドバンテージにあると特定。3つのクリッピング手法を高次元ロバスト推定器GMOMで置き換え、MuJoCo連続制御で同等性能を達成した。
原題: On Proximal Policy Optimization's Heavy-tailed Gradients / Saurabh Garg, Joshua Zhanson, Emilio Parisotto 他
日本語で読む → - 論文強化学習/自律走行ロボティクス
局所計画サブシステムを学習する自律レーシング
障害物マップなしで10個のレーザーレンジファインダのみを用い、強化学習で経路追従の参照を修正する階層型プランナを提案し、F1/10自律レースで評価した論文。
原題: Learning the Subsystem of Local Planning for Autonomous Racing / Benjamin Evans, Hendrik W. Jordaan, Herman A. Engelbrecht
日本語で読む → - 論文インピーダンス制御/逆強化学習ロボティクス
逆強化学習による可変インピーダンス制御の学習
専門家のデモンストレーションから逆強化学習を用いて可変インピーダンス方策と報酬関数を復元し、力に関わるマニピュレーションタスクへの転移性を検証した論文。
原題: Learning Variable Impedance Control via Inverse Reinforcement Learning for Force-Related Tasks / Xiang Zhang, Liting Sun, Zhian Kuang 他
日本語で読む → - 論文転移強化学習ロボティクス
ホモトピー類をまたぐ転移強化学習
強化学習のファインチューニングは、元タスクと目標タスクの軌道が異なるホモトピー類に属すると性能が大きく劣ることを示し、緩和段階とカリキュラム学習段階からなるEase-In-Ease-Outファインチューニングを提案した論文。
原題: Transfer Reinforcement Learning across Homotopy Classes / Zhangjie Cao, Minae Kwon, Dorsa Sadigh
日本語で読む → - 論文強化学習/歩行ロボティクス
CPG-ACTOR:強化学習による中枢パターン生成器の訓練
CPGをActor-CriticのActorとして直接組み込み、感覚フィードバックで振動子のダイナミクスを変形できる強化学習手法を提案し、単脚ホッピングで従来の6倍の報酬を達成した。
原題: CPG-ACTOR: Reinforcement Learning for Central Pattern Generators / Luigi Campanaro, Siddhant Gangapurwala, Daniele De Martini 他
日本語で読む → - 論文強化学習機械学習
rl_reach:ロボットリーチングタスクのための再現可能な強化学習実験ツールボックス
ロボットのリーチングタスク向けに、学習環境・エージェント・ハイパーパラメータ最適化・評価スクリプトをまとめたオープンソースの強化学習実験パッケージを開発した。
原題: rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks / Pierre Aumjaud, David McAuliffe, Francisco Javier Rodríguez Lera 他
日本語で読む → - 論文強化学習機械学習
PPOにおけるクリッピング範囲の減衰手法
強化学習アルゴリズムPPOのクリッピング範囲を学習中に線形・指数関数的に減衰させる手法を提案し、序盤の探索と終盤の制約強化を両立させて複数の制御・歩行タスクで有効性を検証した論文。
原題: Decaying Clipping Range in Proximal Policy Optimization / Mónika Farsang, Luca Szegletes
日本語で読む → - 論文強化学習/着陸誘導ロボティクス
着陸地点選択と迂回機動を同時に考慮する深層強化学習
着陸地点の選定と目標地点への誘導・制御を強化学習で同時最適化し、危険地形でも降下中に目標を更新して安全に着陸する枠組みを提案した。
原題: Deep Reinforcement Learning for Safe Landing Site Selection with Concurrent Consideration of Divert Maneuvers / Keidai Iiyama, Kento Tomita, Bhavi A. Jagatia 他
日本語で読む → - 論文強化学習q-bio.NC
海馬の逆再生を模した強化学習ロボットモデル
海馬の逆再生を強化学習に取り入れた計算モデルを構築し、モリス水迷路を模したロボットの空間ナビゲーション課題で、逆再生が学習を加速し安定性と頑健性を高めることを示した。
原題: A Robotic Model of Hippocampal Reverse Replay for Reinforcement Learning / Matthew T. Whelan, Tony J. Prescott, Eleni Vasilaki
日本語で読む → - 論文強化学習高速化機械学習
グループスパース訓練:深層強化学習を高速化する重み圧縮手法
強化学習の訓練を高速化するため、ブロック巡回圧縮と報酬に基づく動的プルーニングを組み合わせたGSTを提案し、従来の反復プルーニングより高い圧縮率を報酬低下なしで達成した。
原題: GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning / Juhyoung Lee, Sangyeob Kim, Sangjin Kim 他
日本語で読む → - 論文強化学習/時相論理/自動機ロボティクス
限定的決定性一般化ビュッヒ自動機を用いたソフト制約付き時相論理制御の強化学習
不確実な環境でのロボット動作計画を対象に、緩和した線形時相論理制約の下で強化学習により制御方針を生成する手法を提案した論文。
原題: Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata / Mingyu Cai, Shaoping Xiao, Zhijun Li 他
日本語で読む → - 論文強化学習/倉庫最適化math.OC
Eコマース倉庫における保管方策の学習
ロボット移動式フルフィルメントシステム(RMFS)倉庫を部分観測マルコフ決定過程として定式化し、深層Q学習でロボットの平均サイクルタイムを最小化する動的保管方策を学習した。
原題: E-commerce warehousing: learning a storage policy / Adrien Rimélé, Philippe Grangier, Michel Gamache 他
日本語で読む → - 論文強化学習/義足制御ロボティクス
アクター・クリティック強化学習による健常膝軌道を模倣するロボット膝の追従制御
強化学習(dHDP)を用いて義足の膝インピーダンスを自動調整し、健常膝の軌道を追従する制御を実現。理論的性質を示し、OpenSimで平地・異地形・異速度の歩行を検証した。
原題: Robotic Knee Tracking Control to Mimic the Intact Human Knee Profile Based on Actor-critic Reinforcement Learning / Ruofan Wu, Zhikai Yao, Jennie Si 他
日本語で読む → - 論文自動運転/強化学習機械学習
アフォーダンスに基づく強化学習による都市部の自動運転
ウェイポイントと低次元視覚表現(アフォーダンス)を用いた深層強化学習で、車線追従や交差点通過、停止などの都市運転タスクをCARLA上で学習するフレームワークを提案した。
原題: Affordance-based Reinforcement Learning for Urban Driving / Tanmay Agarwal, Hitesh Arora, Jeff Schneider
日本語で読む → - 論文制御/強化学習ロボティクス
風外乱下のMAVに対する学習ベース制御とモデルフリー適応制御の比較
深層強化学習(Soft Actor-Critic)で調整した全状態フィードバック制御器を、同じ強化学習を用いるモデルフリー適応制御器と風外乱下のマイクロ航空機で比較し、学習ベース適応制御の可能性を示した。
原題: Learning-based vs Model-free Adaptive Control of a MAV under Wind Gust / Thomas Chaffre, Julien Moras, Adrien Chan-Hon-Tong 他
日本語で読む → - 論文強化学習/義足制御ロボティクス
強化学習によるロボット膝義足の自動インピーダンス制御:共適応環境下で健常膝の動きを模倣する
強化学習を用いてロボット膝義足のインピーダンスパラメータを自動調整し、共適応環境下で健常膝の動きを模倣する追従制御を実現した。シミュレーションと健常者2名で有効性を示した。
原題: Reinforcement Learning Enabled Automatic Impedance Control of a Robotic Knee Prosthesis to Mimic the Intact Knee Motion in a Co-Adapting Environment / Ruofan Wu, Minhan Li, Zhikai Yao 他
日本語で読む → - 論文逆強化学習機械学習
微分可能なセマンティックマッピングと計画による自律ナビゲーションの逆強化学習
距離とセマンティックカテゴリの観測から専門家のコスト関数を逆強化学習で推定し、新しい環境のセマンティック配置にも汎化できるナビゲーション手法を提案した。CARLAで交通ルールに従う走行を学習できることを示した。
原題: Inverse reinforcement learning for autonomous navigation via differentiable semantic mapping and planning / Tianyu Wang, Vikas Dhiman, Nikolay Atanasov
日本語で読む → - 論文モデルベース強化学習ロボティクス
部分観測系のためのモデルベース方策探索
状態を直接観測できない系に対し、状態オブザーバを陽に考慮してガウス過程とモンテカルロ法で方策を最適化するモデルベース強化学習アルゴリズムを提案し、シミュレーションと実機で有効性を示した。
原題: Model-based Policy Search for Partially Measurable Systems / Fabio Amadio, Alberto Dalla Libera, Ruggero Carli 他
日本語で読む → - 論文強化学習×古典制御ロボティクス
LQR制御を組み込んだ深層強化学習
強化学習と古典的LQR制御を組み合わせ、目標状態でのチャタリングを抑えつつ到達・整定制御の性能を向上させる手法を比較提案した論文。
原題: Deep Reinforcement Learning with Embedded LQR Controllers / Wouter Caarls
日本語で読む → - 論文強化学習ロボティクス
過去タスクの解を活用する行動事前分布によるロボット操作の探索支援
過去に解いたタスクの政策から行動の事前確率分布を作り、専門家デモなしでも大規模行動空間のロボット操作タスクを強化学習で解けるようにした研究。
原題: Action Priors for Large Action Spaces in Robotics / Ondrej Biza, Dian Wang, Robert Platt 他
日本語で読む → - 論文強化学習機械学習
CoachNet:強化学習のための敵対的サンプリング手法
失敗予測器「CoachNet」をオンライン学習し、失敗確率に基づく確率的サンプリングで苦手なエピソードを優先的に訓練することで、強化学習のサンプル効率とテスト時ロバスト性を向上させる手法を提案。
原題: CoachNet: An Adversarial Sampling Approach for Reinforcement Learning / Elmira Amirloo Abolfathi, Jun Luo, Peyman Yadmellat 他
日本語で読む → - 論文自動運転/強化学習/模倣学習ロボティクス
自動運転ポリシー学習のための深層強化学習と深層模倣学習のサーベイ
自動運転の運転ポリシーを深層強化学習と深層模倣学習で学習する研究を、システム統合・モデル定式化・安全性や相互作用などの課題対応の3つの観点から整理した初の包括的サーベイ。
原題: A Survey of Deep RL and IL for Autonomous Driving Policy Learning / Zeyu Zhu, Huijing Zhao
日本語で読む → - 論文モデルベース強化学習機械学習
モンテカルロ勾配推定によるモデルベース方策探索と実機応用
ガウス過程でダイナミクスをモデル化し、モンテカルロ法で方策勾配を推定するモデルベース強化学習MC-PILCOを提案。シミュレーションと実機(フルータ振り子・ボールプレート)で有効性を検証した。
原題: Model-Based Policy Search Using Monte Carlo Gradient Estimation with Real Systems Application / Fabio Amadio, Alberto Dalla Libera, Riccardo Antonello 他
日本語で読む → - 論文逆強化学習機械学習
最大エントロピー逆強化学習の再考:新たな視点とアルゴリズム
最大エントロピー逆強化学習をKLダイバージェンス最小化に基づいて一般化し、モデルフリー学習と可変長デモに対応した効率的な厳密推論アルゴリズムを提案した論文。
原題: Revisiting Maximum Entropy Inverse Reinforcement Learning: New Perspectives and Algorithms / Aaron J. Snoswell, Surya P. N. Singh, Nan Ye
日本語で読む → - 論文自動運転/強化学習機械学習
モデルベース行動提案を用いた償却Q学習による高速道路自動運転
軌道計画器が生成する局所最適マヌーバを行動として用い、強化学習で長期的に最適な高速道路運転の意思決定を学習する手法を提案し、SUMO上で既存手法より優れる性能を示した。
原題: Amortized Q-learning with Model-based Action Proposals for Autonomous Driving on Highways / Branka Mirchevska, Maria Hügle, Gabriel Kalweit 他
日本語で読む → - 論文強化学習機械学習
報酬なしでエージェントを評価する
強化学習エージェントの内部目的関数(入力エントロピー・情報利得・エンパワーメント)を既存データ上で事後評価し、タスク報酬よりも人間行動類似度と強く相関することを示した研究。
原題: Evaluating Agents without Rewards / Brendon Matusch, Jimmy Ba, Danijar Hafner
日本語で読む → - 論文強化学習/制御ロボティクス
強化学習制御のための行動方策平滑化正則化
強化学習で学習した制御方策の行動が滑らかでない問題に対し、CAPSという正則化手法を提案し、実機のドローンで消費電力を約80%削減した。
原題: Regularizing Action Policies for Smooth Control with Reinforcement Learning / Siddharth Mysore, Bassel Mabsout, Renato Mancuso 他
日本語で読む → - 論文強化学習/MPC機械学習
MPCと価値関数近似を融合した効率的強化学習
MPCの局所Q関数近似と学習した価値関数をλでバランスさせ、モデル誤差に頑健でサンプル効率の高い操作タスク向け強化学習手法を提案した論文。
原題: Blending MPC & Value Function Approximation for Efficient Reinforcement Learning / Mohak Bhardwaj, Sanjiban Choudhury, Byron Boots
日本語で読む →
PR・アフィリエイト広告
