論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/5/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習ロボティクス
計画から実践へ:潜在空間での目標合成による効率的なオンライン微調整
高レベルプランナーが潜在空間で中間目標を生成し、オフラインRLで事前学習した方策をオンライン探索で微調整することで、長期的なタスクを効率的に学習する手法を提案。
原題: Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space / Kuan Fang, Patrick Yin, Ashvin Nair 他
日本語で読む → - 論文強化学習ロボティクス
弱観測環境におけるガウス過程自己トリガ型方策探索
ごみクレーンなど観測が乏しい環境で、行動とその持続時間を同時に学習するガウス過程ベースの方策探索法を提案し、ごみの把持・散布タスクで有効性を示した。
原題: Gaussian Process Self-triggered Policy Search in Weakly Observable Environments / Hikaru Sasaki, Terushi Hirabayashi, Kaoru Kawabata 他
日本語で読む → - 論文強化学習cs.GR
起き上がり動作の学習
強化学習を用いて、転倒状態から起き上がる多様な戦略を獲得し、低速での再現や制約下での動作も実現した研究。
原題: Learning to Get Up / Tianxin Tao, Matthew Wilson, Ruiyu Gou 他
日本語で読む → - 論文安全強化学習機械学習
観測摂動下における安全強化学習のロバスト性
安全強化学習が観測への敵対的摂動に対して脆弱であることを示し、報酬最大化攻撃とコスト最大化攻撃の2手法を提案するとともに、頑健な学習フレームワークを提案した。
原題: On the Robustness of Safe Reinforcement Learning under Observational Perturbations / Zuxin Liu, Zijian Guo, Zhepeng Cen 他
日本語で読む → - 論文強化学習AI
真に決定論的な方策最適化
探索ノイズを注入せず決定論的方策空間で探索する方策勾配法TDPOを提案し、Wasserstein型二次モデルによる単調改善保証と厳密なアドバンテージ推定を示した。周波数領域の非局所報酬や8000ステップの長地平線タスクで既存手法を大きく上回る。
原題: Truly Deterministic Policy Optimization / Ehsan Saleh, Saba Ghaffari, Timothy Bretl 他
日本語で読む → - 論文教師なし強化学習機械学習
POLTER: 教師なし強化学習のための方策軌道アンサンブル正則化
事前学習中に得られた方策のアンサンブルを利用して、教師なし強化学習アルゴリズムの方策を最適な事前方策に近づける正則化手法を提案し、ベンチマークで性能を向上させた。
原題: POLTER: Policy Trajectory Ensemble Regularization for Unsupervised Reinforcement Learning / Frederik Schubert, Carolin Benjamins, Sebastian Döhler 他
日本語で読む → - 論文強化学習ロボティクス
時相論理制御のための高速化強化学習
未知のMDP上でLTLタスクを最大化する制御方策を、オートマトン表現と学習中のMDPモデルを活用して探索を誘導し、少ないサンプルで効率的に学習する手法を提案した。
原題: Accelerated Reinforcement Learning for Temporal Logic Control Objectives / Yiannis Kantaros
日本語で読む → - 論文制御/強化学習制御
分布強化学習による外乱推定を統合した解釈可能な確率モデル予測制御
空力外乱を分布強化学習で推定し、確率モデル予測制御に統合することで、ドローンの軌道追従精度を大幅に向上させた研究。
原題: Interpretable Stochastic Model Predictive Control using Distributional Reinforced Estimation for Quadrotor Tracking Systems / Yanran Wang, James O'Keeffe, Qiuchen Qian 他
日本語で読む → - 論文適応光学/強化学習astro-ph.IM
強化学習による望遠鏡実機向け補償光学制御への挑戦
強化学習で補償光学のダイナミクスモデルと制御方策を学習し、8m・40m望遠鏡の数値シミュレーションとMagAO-X実験室実験で残留波面誤差を改善した。
原題: Towards on-sky adaptive optics control using reinforcement learning / J. Nousiainen, C. Rajani, M. Kasper 他
日本語で読む → - 論文オフライン強化学習機械学習
データ幾何と深層関数の融合:オフライン強化学習の汎化
オフライン強化学習において、データの凸包内ではQ関数がよく近似できる点に着目し、状態条件付き距離関数をポリシー制約として用いるDOGEを提案。OOD領域での過度な保守性を緩和し、D4RLで汎化性能を向上させた。
原題: When Data Geometry Meets Deep Function: Generalizing Offline Reinforcement Learning / Jianxiong Li, Xianyuan Zhan, Haoran Xu 他
日本語で読む → - 論文医療ロボティクス/強化学習eess.IV
VesNet-RL:シミュレーション強化学習による実世界の超音波プローブナビゲーション
シミュレーションで学習した強化学習エージェントとUNetによる血管マスク抽出を組み合わせ、実世界の超音波プローブを標準縦断面へ自動誘導するフレームワークを提案した。
原題: VesNet-RL: Simulation-based Reinforcement Learning for Real-World US Probe Navigation / Yuan Bi, Zhongliang Jiang, Yuan Gao 他
日本語で読む → - 論文強化学習/腕渡り機械学習
簡略化モデル模倣による腕渡り運動の学習
点質量と仮想腕からなる簡略化モデルでまず方策を学習し、その重心軌道と把持タイミングを模倣させることで、14リンク平面モデルが連続する手すり間を腕渡りできる強化学習手法を提案した。
原題: Learning to Brachiate via Simplified Model Imitation / Daniele Reda, Hung Yu Ling, Michiel van de Panne
日本語で読む → - 論文安全強化学習ロボティクス
人間環境におけるロボットマニピュレーションのための安全保証付き深層強化学習
人間とマニピュレータの高速な到達可能性解析によるシールド機構を導入し、強化学習の訓練・運用中にISO準拠の人間安全を保証する手法を提案した。衝突によるエピソード終了を防ぎ、RL性能も向上することを人間のモーションキャプチャデータを用いたシミュレーションで示した。
原題: Provably Safe Deep Reinforcement Learning for Robotic Manipulation in Human Environments / Jakob Thumm, Matthias Althoff
日本語で読む → - 論文強化学習機械学習
オフポリシー強化学習におけるガウス混合批評家の再検討:サンプルベース手法
C51批評家のビン設定や値域の事前知識が不要なガウス混合分布批評家とサンプルベース損失を提案し、連続制御タスクで最先端性能を達成した。
原題: Revisiting Gaussian mixture critics in off-policy reinforcement learning: a sample-based approach / Bobak Shahriari, Abbas Abdolmaleki, Arunkumar Byravan 他
日本語で読む → - 論文強化学習/ネットワーク制御制御
リソース制約付き無線ネットワーク制御系における強化学習によるセンシング設計
スマートセンサが生データ送信かローカル処理かを動的に判断するポリシーを強化学習で学習し、遅延と精度のトレードオフを最適化する手法を提案した。
原題: A Reinforcement Learning Approach to Sensing Design in Resource-Constrained Wireless Networked Control Systems / Luca Ballotta, Giovanni Peserico, Francesco Zanini
日本語で読む → - 論文強化学習/歩行ロボティクス
ハイブリッドLMC:アンサンブル深層強化学習による車輪型ヒューマノイドのハイブリッド学習・モデルベース制御
古典的なLQR制御と複数のSACによるアンサンブル強化学習を組み合わせ、車輪型ヒューマノイドの移動制御をMuJoCo上で検証した研究。既存手法より高性能かつサンプル効率が向上した。
原題: Hybrid LMC: Hybrid Learning and Model-based Control for Wheeled Humanoid Robot via Ensemble Deep Reinforcement Learning / Donghoon Baek, Amartya Purushottam, Joao Ramos
日本語で読む → - 論文手術ロボット/強化学習ロボティクス
深層強化学習による手術ロボットの半自律制御
手術ロボットの反復的な単純操作を自動化するため、深層強化学習を用いた半自律制御フレームワークを提案し、作業時間を19.1%、移動距離を58.7%削減した。
原題: Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery / Ruiqi Zhu, Dandan Zhang, Benny Lo
日本語で読む → - 論文強化学習機械学習
例示ベースのリセットで強化学習を自動化する
リセット操作を自己教師あり学習で行う追加エージェントを導入し、実世界ロボットの強化学習における手動リセットを削減しつつ前向き方策の学習を進める手法を提案した。
原題: Automating Reinforcement Learning with Example-based Resets / Jigang Kim, J. hyeon Park, Daesol Cho 他
日本語で読む → - 論文安全強化学習ロボティクス
ブラックボックス到達可能性解析を用いた安全強化学習
未知のロボットモデルに対してデータ駆動の到達可能性解析とアンサンブル予測を組み合わせ、安全制約を守りながら行動を補正する安全層BRSLを提案した論文。
原題: Safe Reinforcement Learning Using Black-Box Reachability Analysis / Mahmoud Selim, Amr Alanwar, Shreyas Kousik 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
強化学習と運動予測型安全コントローラによる混在交通での自動運転合流
高速道路の合流を強化学習(SAC-Discrete)で解き、運動予測と行動置換による安全コントローラを組み合わせて衝突率を抑えつつ効率を維持する手法を提案した。
原題: Autonomous Highway Merging in Mixed Traffic Using Reinforcement Learning and Motion Predictive Safety Controller / Qianqian Liu, Fengying Dang, Xiaofan Wang 他
日本語で読む → - 論文深層強化学習画像認識
低次元観測フィルタを用いた深層強化学習による視覚的に複雑なビデオゲームのプレイ
視覚的に複雑な現代ビデオゲーム「Neon Drive」において、低次元観測フィルタを導入することで深層Qネットワークエージェントの学習を可能にした研究。
原題: Deep Reinforcement Learning Using a Low-Dimensional Observation Filter for Visual Complex Video Game Playing / Victor Augusto Kich, Junior Costa de Jesus, Ricardo Bedin Grando 他
日本語で読む → - 論文強化学習ロボティクス
オフポリシーデータを用いたロボット生涯学習における忘却と不均衡
生涯学習RLで生じる「保守性と学習効率のトレードオフ」と「環境間データ不均衡による性能低下」を分析し、オンライン対話とオフライン蒸留を分離する手法で解決する。
原題: Forgetting and Imbalance in Robot Lifelong Learning with Off-policy Data / Wenxuan Zhou, Steven Bohez, Jan Humplik 他
日本語で読む → - 論文強化学習機械学習
生成モデルと強化学習を組み合わせたデータ効率の良い深層方策の学習と評価
行動の潜在変数を導入し、生成モデルで有効な動作系列を事前知識として活用することで、安全な探索とデータ効率を実現するGenRLフレームワークを提案し、ホッケーとバスケットボールのタスクで有効性を示した論文。
原題: Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models / Ali Ghadirzadeh, Petra Poklukar, Karol Arndt 他
日本語で読む → - 論文階層型強化学習ロボティクス
混合可観測性下での階層型強化学習
一部の状態変数だけが観測可能なMOMDPの部分クラスに対し、上位が目標を生成し下位がそれを達成する2層階層型RL手法HILMOを提案し、長期的連続制御タスクで成功率・サンプル効率・学習時間を改善、実機にも展開した。
原題: Hierarchical Reinforcement Learning under Mixed Observability / Hai Nguyen, Zhihan Yang, Andrea Baisero 他
日本語で読む → - 論文HRI/強化学習ロボティクス
現場で学ぶ:人とロボットの相互作用における長期的な行動適応
公共空間に長期配備された案内ロボットが、強化学習(UCBVI)とエンゲージメント報酬モデルを用いてユーザーとの対話からオンラインで行動を適応させ、ツアー完遂率を30%向上させた研究。
原題: Learning on the Job: Long-Term Behavioural Adaptation in Human-Robot Interactions / Francesco Del Duchetto, Marc Hanheide
日本語で読む → - 論文制御/強化学習ロボティクス
不確かなクアッドロータ向けのロバストなファジィQ学習に基づく厳密負虚数トラッキング制御器
非線形クアッドロータをフィードバック線形化で負虚数線形モデルに変換し、ファジィQ学習で厳密負虚数制御器のゲインをオンライン適応する、事前学習不要のロバスト制御手法を提案した。
原題: Robust Fuzzy Q-Learning-Based Strictly Negative Imaginary Tracking Controllers for the Uncertain Quadrotor Systems / Vu Phi Tran, M. A Mabrok, Sreenatha G. Anavatti 他
日本語で読む → - 論文強化学習ロボティクス
SO(2)同変強化学習
最適Q関数と方策の同変・不変性を利用し、回転対称なロボット操作問題向けに同変DQNとSACを提案、サンプル効率の大幅改善を示した。
原題: $\mathrm{SO}(2)$-Equivariant Reinforcement Learning / Dian Wang, Robin Walters, Robert Platt
日本語で読む → - 論文強化学習/神経細胞ロボットロボティクス
強化学習による神経細胞接続ロボットの文脈依存行動のための設計戦略
深層強化学習と確率的な神経シミュレータを組み合わせ、訓練中にシミュレータを更新することで、神経細胞接続ロボットが課題目標に基づく文脈依存行動を獲得できる設計原則を提案した。
原題: Design strategies for controlling neuron-connected robots using reinforcement learning / Haruto Sawada, Naoki Wake, Kazuhiro Sasabuchi 他
日本語で読む → - 論文説明可能強化学習ロボティクス
線形モデル木による深層強化学習ドッキングエージェントの近似
PPOで学習した自律船のドッキング用DNN方策を線形モデル木で近似し、リアルタイムに制御動作の根拠を説明できるようにした研究。
原題: Approximating a deep reinforcement learning docking agent using linear model trees / Vilde B. Gjærum, Ella-Lovise H. Rørvik, Anastasios M. Lekkas
日本語で読む → - 論文強化学習/歩行ロボティクス
複数の敵対的モーションプライアを活用した強化学習による高度スキル獲得
敵対的モーションプライアを複数スタイルに拡張し、車輪脚四脚ロボットで歩行やしゃがみ、四脚・二脚切替などのスキルを実機検証した研究。
原題: Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning / Eric Vollenweider, Marko Bjelonic, Victor Klemm 他
日本語で読む →
PR・アフィリエイト広告
