論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2019/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
Ctrl-Z:強化学習の不安定性からの回復
学習中のエージェントの履歴を保持し、性能が大きく低下したら過去のパラメータに戻すことで、強化学習の不安定な学習を安定化させる手法を提案した論文。
原題: Ctrl-Z: Recovering from Instability in Reinforcement Learning / Vibhavari Dasagi, Jake Bruce, Thierry Peynot 他
日本語で読む → - 論文安全強化学習機械学習
予測を活用した自動運転車の安全強化学習
予測を用いて探索を制約する枠組みを提案し、自動運転車が交差点での運転行動を安全に学習できることを示した。
原題: Safe Reinforcement Learning on Autonomous Vehicles / David Isele, Alireza Nakhaei, Kikuo Fujimura
日本語で読む → - 論文強化学習/BCIロボティクス
脳波信号によるロボット学習の加速
人間の脳波から得られる誤り評価信号を強化学習の報酬形成に利用し、疎な報酬環境でのロボットナビゲーション学習を加速させる手法を提案した。
原題: Accelerated Robot Learning via Human Brain Signals / Iretiayo Akinola, Zizhao Wang, Junyao Shi 他
日本語で読む → - 論文強化学習AI
戦術的報酬設計:強化学習を迂回する戦略的ゴール設定
ロボット競技において勝利ではなく幾何学的・戦術的優位を報酬として与えることで、強化学習が迅速に勝利戦略へ収束することを示し、幾何探索ベースのA*がDQLを大幅に上回ることを明らかにした論文。
原題: Tactical Reward Shaping: Bypassing Reinforcement Learning with Strategy-Based Goals / Yizheng Zhang, Andre Rosendo
日本語で読む → - 論文能動視覚/姿勢推定/強化学習画像認識
深層強化学習による混雑環境での能動的6D多物体姿勢推定
混雑した環境で複数物体の6D姿勢を推定するため、不確実性の高い物体へカメラを能動的に動かす方策を強化学習で学習し、時間・移動距離の制約下で精度を向上させた研究。
原題: Active 6D Multi-Object Pose Estimation in Cluttered Scenarios with Deep Reinforcement Learning / Juil Sock, Guillermo Garcia-Hernando, Tae-Kyun Kim
日本語で読む → - 論文強化学習AI
視覚的かくれんぼ:身体性エージェントによる追跡回避行動の学習
獲物と捕食者のエージェントが一人称視点の部分観測下でかくれんぼを学習し、獲物は障害物を利用して自分の可視性を予測しながら逃げる方策を獲得する。
原題: Visual Hide and Seek / Boyuan Chen, Shuran Song, Hod Lipson 他
日本語で読む → - 論文強化学習機械学習
画像からのモデルフリー強化学習におけるサンプル効率の改善
画像入力の強化学習で、再構成損失による表現学習が不安定になる原因をVAEに特定し、安定化手法を提案してMuJoCoタスクで最先端性能と観測ノイズへの頑健性を実現した。
原題: Improving Sample Efficiency in Model-Free Reinforcement Learning from Images / Denis Yarats, Amy Zhang, Ilya Kostrikov 他
日本語で読む → - 論文強化学習AI
データ拡張で強化学習のサンプル効率を向上させる
観測データを反射対称性や緩い目標定義で再利用する2つのデータ拡張手法を提案し、深層強化学習の学習速度を大幅に向上させた。
原題: Towards More Sample Efficiency in Reinforcement Learning with Data Augmentation / Yijiong Lin, Jiancong Huang, Matthieu Zimmer 他
日本語で読む → - 論文強化学習効率化機械学習
QuaRL: 強化学習を高速かつ環境に優しくする量子化手法
強化学習の学習を8ビット量子化したアクターで高速化するActorQを提案し、最大5.41倍の速度向上と最大3.76倍のCO2排出削減を実現した。
原題: QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning / Srivatsan Krishnan, Maximilian Lam, Sharad Chitlangia 他
日本語で読む → - 論文自動運転/強化学習制御
安全性を強化した深層強化学習による自動運転
ルールベースと学習ベースの安全機構を組み合わせ、将来の衝突リスクを予測して報酬に反映する自動運転向け強化学習システムを提案した。
原題: Deep Reinforcement Learning with Enhanced Safety for Autonomous Highway Driving / Ali Baheri, Subramanya Nageshrao, H. Eric Tseng 他
日本語で読む → - 論文安全強化学習制御
確率的ダイナミクスを持つ安全な強化学習のためのロバストモデル予測シールディング
確率的な外乱を受ける非線形システムに対し、チューブ型ロバストNMPCをバックアップ制御器として用いるモデル予測シールディングを提案し、学習方策の安全性を高確率で保証する。
原題: Robust Model Predictive Shielding for Safe Reinforcement Learning with Stochastic Dynamics / Shuo Li, Osbert Bastani
日本語で読む → - 論文強化学習機械学習
能動的情報獲得のためのQネットワーク学習
強化学習でモデル不要の能動的情報獲得方策を学習し、マルチターゲット追跡で既存手法と比較した論文。
原題: Learning Q-network for Active Information Acquisition / Heejin Jeong, Brent Schlotfeldt, Hamed Hassani 他
日本語で読む → - 論文モデルベース強化学習機械学習
深層価値モデル予測制御
価値関数推定とモデルベース軌道最適化を組み合わせたアクター・クリティック手法DMPCを提案し、Ballbotでスパース報酬による障害物回避と目標到達を効率化した。
原題: Deep Value Model Predictive Control / Farbod Farshidian, David Hoeller, Marco Hutter
日本語で読む → - 論文階層強化学習機械学習
移動マニピュレータのための対話型ナビゲーション階層強化学習
ドア開けやボタン押しを伴う対話型ナビゲーションを、フェーズごとに異なる空間でサブゴールを設定し身体部位を使い分ける階層強化学習HRL4INで解き、平坦なPPOやHACより高性能かつ省エネルギーであることを示した。
原題: HRL4IN: Hierarchical Reinforcement Learning for Interactive Navigation with Mobile Manipulators / Chengshu Li, Fei Xia, Roberto Martin-Martin 他
日本語で読む → - 論文強化学習ロボティクス
線形時相論理仕様からのモデルフリー強化学習による制御合成
未知の確率的環境において、LTL仕様を満たす確率を最大化する制御方策をモデルフリー強化学習で学習する手法を提案し、報酬と経路依存割引の設計により最適方策への収束を保証した。
原題: Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning / Alper Kamil Bozkurt, Yu Wang, Michael M. Zavlanos 他
日本語で読む → - 論文逆強化学習機械学習
逆強化学習のための最尤制約推定
専門家の行動を報酬関数ではなく制約として捉え、最大エントロピーIRLに基づいて観測行動の尤度を最大化する制約を反復的に推定する手法を提案した。
原題: Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning / Dexter R. R. Scobee, S. Shankar Sastry
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
強化学習によるマルチエージェント協調行動の効率的構築と選択
2対2の対戦型確率ゲームにおいて、行動空間の離散化とモデルベース予測で実行可能な協調行動集合を構築し、深層Q学習で最適な協調行動を選択する手法を提案。RoboCup小型リーグのパス協調で有効性を検証した。
原題: Multi-agent Collaboration for Feasible Collaborative Behavior Construction and Evaluation / Yunkai Wang, Shenhan Jia, Zexi Chen 他
日本語で読む → - 論文交通制御/強化学習math.OC
自動運転車の動的経路制御を深層強化学習で学習し交通渋滞を間接的に緩和
自動運転車の経路を強化学習で制御し、人間ドライバーの利己的な経路選択を間接的に誘導することでネットワーク全体の渋滞を最小化する手法を提案した論文。
原題: Learning How to Dynamically Route Autonomous Vehicles on Shared Roads / Daniel A. Lazar, Erdem Bıyık, Dorsa Sadigh 他
日本語で読む → - 論文強化学習機械学習
強化学習におけるスパース表現の学習
皮質の側方抑制に着想を得て、スパースな結合表現がTD学習の破滅的干渉を避けつつ汎化を支えることを示した研究。
原題: Learning sparse representations in reinforcement learning / Jacob Rafati, David C. Noelle
日本語で読む → - 論文マルチモーダル/強化学習ロボティクス
音声と視覚を統合したロボット制御のための音解釈
音声コマンドを直接解釈し視覚に基づく意思決定を行うエンドツーエンドの深層ニューラルネットを強化学習で訓練し、2種類のロボットで目標物体への精密制御を実現した。
原題: Robot Sound Interpretation: Combining Sight and Sound in Learning-Based Control / Peixin Chang, Shuijing Liu, Haonan Chen 他
日本語で読む → - 論文多目的強化学習機械学習
報酬関数の補間による多目的強化学習の最適価値関数予測
多目的強化学習において、重み付き和の報酬関数の重みを変化させたときの最適価値関数をガウス過程で滑らかに補間し、未学習の重み設定でも再計算なしに高精度に予測できることを示した論文。
原題: Predicting optimal value functions by interpolating reward functions in scalarized multi-objective reinforcement learning / Arpan Kusari, Jonathan P. How
日本語で読む → - 論文強化学習/データ拡張ロボティクス
不変変換による経験リプレイ:深層強化学習のためのデータ拡張
ロボットタスクに存在する対称性を利用し、観測軌道を変換して新たな学習データを生成するデータ拡張フレームワークを提案。鏡映対称性や目標定義の緩さを活用し、学習速度と成功率を大幅に向上させた。
原題: Invariant Transform Experience Replay: Data Augmentation for Deep Reinforcement Learning / Yijiong Lin, Jiancong Huang, Matthieu Zimmer 他
日本語で読む → - 論文強化学習ベンチマークロボティクス
ROBEL: 低コストロボットによる実世界強化学習のためのベンチマーク
実世界での強化学習研究を加速するため、低コストで頑丈な3本指ハンドロボットと4脚ロボット、および各ロボット向けの連続制御ベンチマークタスク群を公開した論文。
原題: ROBEL: Robotics Benchmarks for Learning with Low-Cost Robots / Michael Ahn, Henry Zhu, Kristian Hartikainen 他
日本語で読む → - 論文モデルベース強化学習ロボティクス
接触を伴う操作タスクのためのデータ効率的なモデル学習と予測
接触を伴う操作タスクにおいて、不連続なダイナミクスに対応するハイブリッド構造とガウス過程の不確実性表現を組み合わせ、少ないデータで順ダイナミクスモデルと長期予測を学習する手法を提案した。
原題: Data-efficient Model Learning and Prediction for Contact-rich Manipulation Tasks / Shahbaz Abdul Khader, Hang Yin, Pietro Falco 他
日本語で読む → - 論文マルチロボット強化学習ロボティクス
集中Qネットで学習するマルチロボット分散マクロ行動ポリシー
集中Qネットを教師として各ロボットの分散Qネットを訓練するMacDec-MADDRQNを提案し、倉庫での実機ツール配送タスクを効率的に達成した。
原題: Learning Multi-Robot Decentralized Macro-Action-Based Policies via a Centralized Q-Net / Yuchen Xiao, Joshua Hoffman, Tian Xia 他
日本語で読む → - 論文強化学習探索ロボティクス
新規性と驚きによる到達可能な結果空間の教師なし学習と探索
高次元観測からタスク非依存に多様な方策を探索するTAXONSを提案し、オートエンコーダで構築した低次元結果空間と再構成誤差を探索の駆動力に用いて、真の結果空間の広範囲をカバーする制御器群を獲得できることを示した。
原題: Unsupervised Learning and Exploration of Reachable Outcome Space / Giuseppe Paolo, Alban Laflaquière, Alexandre Coninx 他
日本語で読む → - 論文制御/強化学習制御
時変パラメータを持つ軌道追従のためのモデルフリー適応動的計画法
参照軌道をパラメータ化してQ関数に組み込むことで、時変な目標軌道にも追加学習なしで追従できるモデルフリーなADP追従制御法を提案した論文。
原題: Adaptive Dynamic Programming for Model-free Tracking of Trajectories with Time-varying Parameters / Florian Köpf, Simon Ramsteiner, Michael Flad 他
日本語で読む → - 論文着衣支援/強化学習/sim2realロボティクス
シミュレーションから学ぶ協調動作:ロボットによる着衣支援
物理シミュレーション上で人間とロボットの制御方策を深層強化学習により同時に訓練し、障害のバリエーションもモデル化することで、病院着やTシャツの着衣支援タスクを実現した。シミュレーションで訓練した方策は実機PR2ロボットによるヒューマノイドの腕への着衣にも成功した。
原題: Learning to Collaborate from Simulation for Robot-Assisted Dressing / Alexander Clegg, Zackory Erickson, Patrick Grady 他
日本語で読む → - 論文分散強化学習機械学習
SURREAL-System:分散深層強化学習のための完全統合スタック
ハードウェア抽象化からアルゴリズムまで4層で構成され、ラップトップからクラウドまでスケール可能な分散強化学習フレームワークを提案し、PPOやESを数千コア・数百GPUに拡張してGymとRoboticsで最先端性能を達成した。
原題: SURREAL-System: Fully-Integrated Stack for Distributed Deep Reinforcement Learning / Linxi Fan, Yuke Zhu, Jiren Zhu 他
日本語で読む → - 論文強化学習/ナノドローンロボティクス
ナノドローンのマイコン上で動く深層強化学習による自律的音源探索
超小型クアッドコプターのCortex-M4マイコン上で深層強化学習を動かし、障害物のある環境でも自律的に音源を探索できる軽量なエンドツーエンド手法を実現した。
原題: Learning to Seek: Autonomous Source Seeking with Deep Reinforcement Learning Onboard a Nano Drone Microcontroller / Bardienus P. Duisterhof, Srivatsan Krishnan, Jonathan J. Cruz 他
日本語で読む →
PR・アフィリエイト広告
