論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2019/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文モデルベース強化学習機械学習
夢から制御へ:潜在想像による行動学習
学習した世界モデルの潜在空間内で軌道を想像し、価値関数の勾配を逆伝播させて画像からの長期タスクを解く強化学習エージェントDreamerを提案した論文。
原題: Dream to Control: Learning Behaviors by Latent Imagination / Danijar Hafner, Timothy Lillicrap, Jimmy Ba 他
日本語で読む → - 論文交通制御/強化学習ロボティクス
強化学習による信号なし交差点での自動運転車の集中協調制御
信号のない交差点で複数の自動運転車を集中制御するため、事前モデルを組み込んだPPO(MA-PPO)を提案し、MPCと比べて計算時間を1/400に短縮しつつ交差点効率を4.5倍向上させた。
原題: Centralized Cooperation for Connected and Automated Vehicles at Intersections by Proximal Policy Optimization / Yang Guan, Yangang Ren, Shengbo Eben Li 他
日本語で読む → - 論文強化学習機械学習
準ニュートン信頼領域方策最適化
ヘッセ行列を準ニュートン近似しドッグレッグ法を用いる信頼領域方策最適化QNTRPOを提案し、連続制御タスクでサンプル効率と性能の向上を示した。
原題: Quasi-Newton Trust Region Policy Optimization / Devesh Jha, Arvind Raghunathan, Diego Romeres
日本語で読む → - 論文移動ロボット/強化学習ロボティクス
深層強化学習による移動ロボットの運動計画
深層強化学習を用いて、非ホロノミック移動ロボットが運動学的・動学的制約を考慮しつつ連続的な状態・行動空間で目標状態へ到達する運動・軌道計画手法を提案し、差動駆動ロボットのシミュレーションで評価した。
原題: Deep Reinforcement Learning for Motion Planning of Mobile Robots / Leonid Butyrev, Thorsten Edelhäußer, Christopher Mutschler
日本語で読む → - 論文強化学習ロボティクス
深層モデル融合強化学習による効率的なロボットタスクの汎化
学習済みモデルを融合して環境適応を効率化するDeep Model Fusion強化学習と、学習効率を高める多目的誘導報酬整形を提案し、様々な環境で有効性を検証した論文。
原題: Efficient Robotic Task Generalization Using Deep Model Fusion Reinforcement Learning / Tianying Wang, Hao Zhang, Wei Qi Toh 他
日本語で読む → - 論文強化学習機械学習
逆さま強化学習によるエージェントの訓練
報酬予測や最適方策探索を使わず、教師あり学習のみで「一定時間内に一定の報酬を得る」といった指令に従うようエージェントを訓練するUDRLを提案し、複数環境で従来手法に匹敵・上回る性能を示した。
原題: Training Agents using Upside-Down Reinforcement Learning / Rupesh Kumar Srivastava, Pranav Shyam, Filipe Mutz 他
日本語で読む → - 論文モデルベース強化学習機械学習
観察と相互作用から予測モデルを学ぶ
ロボットが自身の相互作用データに加え、人間の動画など他者の観察データも活用して予測モデルを学習する手法を提案し、道具使用の計画に応用した。
原題: Learning Predictive Models From Observation and Interaction / Karl Schmeckpeper, Annie Xie, Oleh Rybkin 他
日本語で読む → - 論文逆強化学習/注意予測画像認識
運転者の視覚的注意を最大エントロピー深層逆強化学習で予測するMEDIRL
事故多発状況での運転者の注視点を、最大エントロピー深層逆強化学習で報酬関数を学習して予測する手法を提案し、新データセットEyeCarを導入して既存手法を上回る性能を示した。
原題: MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning / Sonia Baee, Erfan Pakdamanian, Inki Kim 他
日本語で読む → - 論文自動運転/階層型強化学習ロボティクス
複数サブゴールに対応する階層型強化学習による自動運転行動計画
自動運転の行動計画を複数のサブゴールに分解し、階層型強化学習で同時に学習・サブゴール間で方策を再利用する手法を提案し、従来RLより高速に収束することを示した。
原題: Hierarchical Reinforcement Learning Method for Autonomous Vehicle Behavior Planning / Zhiqian Qiao, Zachariah Tyree, Priyantha Mudalige 他
日本語で読む → - 論文強化学習/姿勢制御ロボティクス
PPOを用いた固定翼UAVの深層強化学習による姿勢制御
固定翼UAVの非線形姿勢制御にPPOベースの深層強化学習コントローラを適用し、PIDより広い初期条件で安定化でき、風や乱気流への汎化も示した論文。
原題: Deep Reinforcement Learning Attitude Control of Fixed-Wing UAVs Using Proximal Policy Optimization / Eivind Bøhn, Erlend M. Coates, Signe Moe 他
日本語で読む → - 論文強化学習機械学習
準最適ガイダンスで強化学習を加速する
準最適な既存コントローラをQフィルタ付き行動クローニング損失で活用し、疎な報酬下の強化学習の探索を効率化する手法を提案し、ロボット環境で性能向上を示した。
原題: Accelerating Reinforcement Learning with Suboptimal Guidance / Eivind Bøhn, Signe Moe, Tor Arne Johansen
日本語で読む → - 論文メタ強化学習機械学習
モデル非依存メタ探索による効率的なタスク適応
メタ強化学習において、探索専用のポリシーを明示的に分離して学習することで、少数の勾配更新でのタスク適応を効率化する手法を提案した論文。
原題: MAME : Model-Agnostic Meta-Exploration / Swaminathan Gurumurthy, Sumit Kumar, Katia Sycara
日本語で読む → - 論文追跡回避/強化学習ロボティクス
UAVの2次元グリーディシューター問題の解法
深層Q学習で訓練したUAVが、グリーディシューター戦略のUAVとの追跡回避戦を初期距離が十分あれば常に勝利することをシミュレーションで示した。
原題: On Solving the 2-Dimensional Greedy Shooter Problem for UAVs / Loren Anderson, Sahitya Senapathy
日本語で読む → - 論文模倣学習・強化学習機械学習
軌跡からのサブゴール発見による学習
専門家の軌跡から状態空間をサブゴールに分割する関数を学習し、模倣学習と強化学習を組み合わせて複雑な目標指向タスクを効率的に解く手法を提案した。
原題: Learning from Trajectories via Subgoal Discovery / Sujoy Paul, Jeroen van Baar, Amit K. Roy-Chowdhury
日本語で読む → - 論文モデルベース強化学習機械学習
Robo-PlaNet:1日で突き動作を学習するモデルベース強化学習
PlaNetを非同期化したRobo-PlaNetを提案し、シミュレーションと実機のロボット実験で同じ時間内により高い性能を達成した。
原題: Robo-PlaNet: Learning to Poke in a Day / Maxime Chevalier-Boisvert, Guillaume Alain, Florian Golemo 他
日本語で読む → - 論文強化学習/探索機械学習
任意の将来タスクを固定バッチ学習するためのタスク非依存探索の評価
ロボティクスでオフライン学習に使う固定データセットを効率よく作るため、代表的な探索手法を比較評価し、シミュレーション3タスクと実機高次元ロボットアームで検証した。
原題: Evaluating task-agnostic exploration for fixed-batch learning of arbitrary future tasks / Vibhavari Dasagi, Robert Lee, Jake Bruce 他
日本語で読む → - 論文強化学習シミュレーションロボティクス
Gym-Ignition: 強化学習のための再現可能なロボットシミュレーション
Ignition Gazeboを基盤に、OpenAI Gym互換のインターフェースで再現性の高いロボット強化学習環境を構築できるフレームワークを提案した。
原題: Gym-Ignition: Reproducible Robotic Simulations for Reinforcement Learning / Diego Ferigo, Silvio Traversaro, Giorgio Metta 他
日本語で読む → - 論文自動運転/強化学習機械学習
暗黙的アフォーダンスを用いた都市運転のためのエンドツーエンドモデルフリー強化学習
暗黙的アフォーダンスという手法で強化学習を都市運転に適用し、車線維持や歩行者・車両回避、信号検出を可能にした。CARLAチャレンジのカメラのみ部門で優勝した。
原題: End-to-End Model-Free Reinforcement Learning for Urban Driving using Implicit Affordances / Marin Toromanoff, Emilie Wirbel, Fabien Moutarde
日本語で読む → - 論文オフライン強化学習ロボティクス
IRIS: 大規模オフライン実演データから制御を学ぶ暗黙的強化学習フレームワーク
大規模なロボット操作の実演データから、低レベル模倣コントローラと高レベル目標選択を分離して学習するIRISを提案し、完全オフライン学習で高性能な方策を得られることを示した。
原題: IRIS: Implicit Reinforcement without Interaction at Scale for Learning Control from Offline Robot Manipulation Data / Ajay Mandlekar, Fabio Ramos, Byron Boots 他
日本語で読む → - 論文強化学習/水中ロボットロボティクス
強化学習による自律型水中ロボット制御のレビュー
自律型水中ロボット(AUV)の低レベル制御に強化学習を適用した研究を概観し、課題と最近の進展、代表的な制御器の事例をまとめたレビュー論文。
原題: A selected review on reinforcement learning based control for autonomous underwater vehicles / Yachu Hsu, Hui Wu, Keyou You 他
日本語で読む → - 論文強化学習機械学習
潜在軌道最適化によるDDPGの探索改善
画像の潜在埋め込み上でモデルベース軌道最適化を探索に用い、DDPGと相互補完的に組み合わせて連続制御タスクと実機ロボットの挿入作業で評価した研究。
原題: Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient / Kevin Sebastian Luck, Mel Vecerik, Simon Stepputtis 他
日本語で読む → - 論文強化学習/制御ロボティクス
DOBネットから周期的スイッチングを抽出し過大外乱を排除するA2手法
強化学習で得たDOBネットの内部状態遷移を注意機構で抽象化し、外乱に対する周期的スイッチング機構を有限状態機械として抽出した研究。
原題: A2: Extracting Cyclic Switchings from DOB-nets for Rejecting Excessive Disturbances / Wenjie Lu, Dikai Liu
日本語で読む → - 論文マルチエージェント強化学習機械学習
深層強化学習によるマルチエージェント協調型自動運転
自動運転を部分観測マルコフゲームとして定式化し、複数エージェントが協調学習できるMACAD-Gymシミュレーション環境を提案した論文。
原題: Multi-Agent Connected Autonomous Driving using Deep Reinforcement Learning / Praveen Palanisamy
日本語で読む → - 論文強化学習評価機械学習
オフポリシー方策評価の実証ベンチマーク
強化学習におけるオフポリシー方策評価(OPE)手法を多様な実験設計で比較するベンチマークスイートCOBSを構築し、実践的な指針をまとめた。
原題: Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning / Cameron Voloshin, Hoang M. Le, Nan Jiang 他
日本語で読む → - 論文強化学習機械学習
ロバスト安定性保証付きH∞モデルフリー強化学習
サンプルベースでリアプノフ安定性とロバスト性能を解析し、最大エントロピー法で安定性保証付きの政策を学習する手法を提案した。外乱やパラメータ変動に対して既存手法より高いロバスト性を示す。
原題: $H_\infty$ Model-free Reinforcement Learning with Robust Stability Guarantee / Minghao Han, Yuan Tian, Lixian Zhang 他
日本語で読む → - 論文制御/強化学習機械学習
拡張ランダムサーチによるクアッドコプター制御:強化学習の代替手法
モデルフリーのランダム探索手法Augmented Random Search(ARS)をクアッドコプターの飛行制御に適用し、DDPGと比較して少ないデータで高精度な線形方策を学習できることを示した論文。
原題: Augmented Random Search for Quadcopter Control: An alternative to Reinforcement Learning / Ashutosh Kumar Tiwari, Sandeep Varma Nadimpalli
日本語で読む → - 論文強化学習×軌道最適化ロボティクス
軌道最適化と深層強化学習の利点を組み合わせる
軌道最適化を最悪ケースの行動として用いることで、強化学習のサンプル効率を改善し、学習途中でもオンライン展開可能な方策を実現した。
原題: Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning / Guillaume Bellegarda, Katie Byl
日本語で読む → - 論文メタ強化学習機械学習
Meta-World:マルチタスク・メタ強化学習のためのベンチマーク
50種類のロボット操作タスクからなるオープンソースのシミュレーションベンチマークを提案し、7つの最先端メタRL・マルチタスクRL手法を評価した。
原題: Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning / Tianhe Yu, Deirdre Quillen, Zhanpeng He 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
後悔理論に基づく人間の車線変更モデルを組み込んだ安全強化学習による自動運転
人間ドライバーの車線変更判断を後悔理論でモデル化し、その予測を安全制約として強化学習に組み込むことで、訓練中の衝突をゼロにしつつ自動運転車の制御を学習した研究。
原題: Autonomous Driving using Safe Reinforcement Learning by Incorporating a Regret-based Human Lane-Changing Decision Model / Dong Chen, Longsheng Jiang, Yue Wang 他
日本語で読む → - 論文強化学習ロバスト性ロボティクス
深層強化学習のための認証付き敵対的ロバスト性
深層強化学習の実行時に状態行動価値の保証付き下限を計算し、入力の最悪ケース変動下でも最適行動を選べるオンライン防御手法を提案した。
原題: Certified Adversarial Robustness for Deep Reinforcement Learning / Björn Lütjens, Michael Everett, Jonathan P. How
日本語で読む →
PR・アフィリエイト広告
