論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/12/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習機械学習
局所的な混合エキスパートによる多様なスキルライブラリの特化
最大エントロピー強化学習を混合エキスパートごとの下界最適化に分解し、局所的な文脈分布を専門家と共に適応させることで、高精度で多様なスキルを段階的に獲得する手法を提案した。
原題: Specializing Versatile Skill Libraries using Local Mixture of Experts / Onur Celik, Dongzhuoran Zhou, Ge Li 他
日本語で読む → - 論文強化学習機械学習
自律強化学習:形式化とベンチマーク
試行間のリセットを人間が行わない自律的な強化学習の枠組みを定式化し、多様なタスクを含むシミュレーションベンチマークEARLを提案した論文。既存手法が介入最小化で苦戦することを示す。
原題: Autonomous Reinforcement Learning: Formalism and Benchmarking / Archit Sharma, Kelvin Xu, Nikhil Sardana 他
日本語で読む → - 論文強化学習/安全制御機械学習
到達回避強化学習による安全性と活性の保証
到達回避型最適制御を強化学習で解くための時間割引ベルマンバックアップを導出し、収束性を証明するとともに、モデル予測型監視制御でゼロ違反を保証する手法を提案した論文。
原題: Safety and Liveness Guarantees through Reach-Avoid Reinforcement Learning / Kai-Chieh Hsu, Vicenç Rubies-Royo, Claire J. Tomlin 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
深層強化学習による車線変更の意思決定
ルールベース制約を組み合わせたDQNで車線変更の意思決定を行い、Udacityシミュレータで安全性と効率を検証した研究。
原題: Lane Change Decision-Making through Deep Reinforcement Learning / Mukesh Ghimire, Malobika Roy Choudhury, Guna Sekhar Sai Harsha Lagudu
日本語で読む → - 論文強化学習/自律航行ロボティクス
衝突リスク理論と深層強化学習による自律水上船舶のCOLREGs準拠制御
衝突リスク理論を用いてCOLREGsの一部を深層強化学習エージェントに組み込み、経路追従と衝突回避を動的に切り替える自律水上船舶の制御手法を提案した。
原題: Risk-based implementation of COLREGs for autonomous surface vehicles using deep reinforcement learning / Thomas Nakken Larsen, Amalie Heiberg, Eivind Meyer 他
日本語で読む → - 論文強化学習HCI
アフォーダンスの再発見:強化学習からの視点
強化学習理論に基づき、ユーザーが経験を通じてアフォーダンスを学習・適応する仕組みを説明する統合理論を提案し、仮想ロボットで人間らしい適応を再現した論文。
原題: Rediscovering Affordance: A Reinforcement Learning Perspective / Yi-Chi Liao, Kashyap Todi, Aditya Acharya 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
深層強化学習による個人適応型車線変更判断アルゴリズム
運転シミュレータで収集した3種類の運転スタイルの車線変更データを分析し、個人の好みを反映した報酬・損失関数を用いた深層強化学習エージェントを設計。同一初期状態でドライバーと比較し、車線変更判断の一貫性が向上することを示した。
原題: Personalized Lane Change Decision Algorithm Using Deep Reinforcement Learning Approach / Daofei Li, Ao Liu
日本語で読む → - 論文自動運転/強化学習ロボティクス
実世界の人間運転経験を取り込んだ改良DDPG車両追従モデル
実世界の人間の運転経験を2段階DRLで活用し、CARLA上で車両追従エージェントを訓練して純粋なDRLより優れた性能を実現した研究。
原題: Modified DDPG car-following model with a real-world human driving experience with CARLA simulator / Dianzhao Li, Ostap Okhrin
日本語で読む → - 論文マルチエージェント強化学習機械学習
部分報酬分離による協調型マルチエージェント方策の学習
大規模な協調型マルチエージェント強化学習の信用割当問題に対し、エージェントの部分集合ごとに問題を分離する部分報酬分離(PRD)を提案し、方策勾配の分散低減と性能向上を示した。
原題: Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling / Benjamin Freed, Aditya Kapoor, Ian Abraham 他
日本語で読む → - 論文安全強化学習機械学習
水上ナビゲーションにおける安全な深層強化学習のベンチマーク
水上ロボットの安全な航法のための新しいベンチマーク環境を提案し、勾配ベースと非勾配ベースを組み合わせた学習法と区間解析による検証手法を評価した論文。
原題: Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation / Enrico Marchesini, Davide Corsi, Alessandro Farinelli
日本語で読む → - 論文強化学習/障害物回避ロボティクス
深層強化学習による連続行動空間での小型無人航空機の障害物回避
PPOベースの深層強化学習を用い、小型無人航空機が連続的な方位角・速度制御で障害物を回避しながら目的地へ向かう誘導手法を提案し、静的・動的障害物環境で99%以上の成功率を達成した。
原題: Obstacle Avoidance for UAS in Continuous Action Space Using Deep Reinforcement Learning / Jueming Hu, Xuxi Yang, Weichang Wang 他
日本語で読む → - 論文強化学習/スキル学習ロボティクス
ソフトアクター・クリティックとガウス混合モデルによるロボットスキル適応
示範学習と深層強化学習を組み合わせ、軌道分布空間でスキルを適応・洗練させるSAC-GMMを提案し、実環境とシミュレーションで有効性を示した論文。
原題: Robot Skill Adaptation via Soft Actor-Critic Gaussian Mixture Models / Iman Nematollahi, Erick Rosete-Beas, Adrian Röfer 他
日本語で読む → - 論文階層強化学習機械学習
価値関数空間:スキル中心の状態抽象化による長期的推論
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
原題: Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning / Dhruv Shah, Peng Xu, Yao Lu 他
日本語で読む → - 論文強化学習制御ロボティクス
自己平衡型伸縮ホイール式倒立振子系におけるモデルフリー強化学習制御の比較分析
伸縮可能な自己平衡ホイール式倒立振子(E-WIP)に対し、DDPGとPPOによる強化学習制御を実装し、MPCと性能比較した論文。
原題: Analysis of Model-Free Reinforcement Learning Control Schemes on self-balancing Wheeled Extendible System / Kanishk ., Rushil Kumar, Vikas Rastogi 他
日本語で読む → - 論文強化学習機械学習
適応的に校正された批評家推定による深層強化学習
オンポリシーの分散は大きいが偏りのないロールアウトを用いてTDターゲットのバイアスを適応的に補正するACCを提案し、連続制御ベンチマークで環境ごとのハイパーパラメータ調整なしに最先端性能を達成した。
原題: Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning / Nicolai Dorka, Tim Welschehold, Joschka Boedecker 他
日本語で読む → - 論文安全強化学習機械学習
局所一般化線形近似を用いた安全方策最適化
センサーから得られる局所特徴と報酬・安全性の関係を一般化線形関数で学習しつつ、安全性と最適性の理論保証付きで方策を最適化するSPO-LFを提案した論文。
原題: Safe Policy Optimization with Local Generalized Linear Function Approximations / Akifumi Wachi, Yunyue Wei, Yanan Sui
日本語で読む → - 論文強化学習機械学習
後継表現を用いた経験リプレイの改善
強化学習の経験リプレイにおいて、TD誤差による「利得」だけでなく、現在の状況との関連性を示す「必要性」も考慮して優先順位付けする新手法を提案し、Dyna-Q迷路やAtariゲームで性能向上を示した。
原題: Improving Experience Replay with Successor Representation / Yizhi Yuan, Marcelo G Mattar
日本語で読む → - 論文強化学習機械学習
後継特徴ランドマークによる長期目標条件付き強化学習
後継特徴を用いて状態の新規性推定とランドマークグラフによる高レベル計画を行い、大規模高次元環境での長期目標条件付き強化学習を効率的に探索・達成するフレームワークSFLを提案した。
原題: Successor Feature Landmarks for Long-Horizon Goal-Conditioned Reinforcement Learning / Christopher Hoang, Sungryull Sohn, Jongwook Choi 他
日本語で読む → - 論文安全強化学習機械学習
モデルフリー制約付き強化学習におけるゼロ制約違反ポリシーの学習
安全指向のエネルギー関数(安全指数)でポリシー更新を制限し、危険行動を事前に特定することで、収束後に制約違反ゼロのポリシーを学習するSSACアルゴリズムを提案した論文。
原題: Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning / Haitong Ma, Changliu Liu, Shengbo Eben Li 他
日本語で読む → - 論文安全制約付き強化学習機械学習
明示的な探索・活用・脱出による安全制約付き強化学習
未知環境での安全制約付き強化学習のため、探索・活用・脱出を明示的に分離したモデルベース手法E^4を提案し、多項式時間で準最適かつ学習中も安全制約を満たすことを示した。
原題: Explicit Explore, Exploit, or Escape ($E^4$): near-optimal safety-constrained reinforcement learning in polynomial time / David M. Bossens, Nicholas Bishop
日本語で読む → - 論文オフライン強化学習機械学習
未知への対処:悲観的オフライン強化学習
オフライン強化学習における分布シフト問題に対し、訓練データに存在しない状態の価値を意図的に低く見積もる悲観的価値関数を提案し、OOD状態への対処で性能を向上させた。
原題: Dealing with the Unknown: Pessimistic Offline Reinforcement Learning / Jinning Li, Chen Tang, Masayoshi Tomizuka 他
日本語で読む → - 論文強化学習機械学習
学習された行動空間における疎な報酬の発見と活用
行動空間をオンザフライで学習しつつ探索と報酬最適化を交互に行うSTAXを提案し、疎報酬環境で既存手法と同等の性能を少ない事前情報で達成した。
原題: Discovering and Exploiting Sparse Rewards in a Learned Behavior Space / Giuseppe Paolo, Miranda Coninx, Alban Laflaquière 他
日本語で読む → - 論文ロバスト強化学習ロボティクス
四輪ドローンのロバスト深層強化学習制御
ロバストMDPを用いてドローン制御方策を学習し、未知の環境パラメータでも標準手法より高い汎化性能を示した。
原題: Robust Deep Reinforcement Learning for Quadcopter Control / Aditya M. Deshpande, Ali A. Minai, Manish Kumar
日本語で読む → - 論文制御/強化学習ロボティクス
リアプノフ報酬整形に基づく移動ロボット向け自己適応型LSAC-PID制御
深層強化学習とリアプノフ理論に基づく報酬整形を組み合わせ、移動ロボットのMIMO PIDパラメータをモデルなしでリアルタイムに自動調整する手法を提案し、収束性と安定性を理論・実験の両面で示した。
原題: A Self-adaptive LSAC-PID Approach based on Lyapunov Reward Shaping for Mobile Robots / Xinyi Yu, Siyu Xu, Yuehai Fan 他
日本語で読む → - 論文強化学習AI
動的距離学習を用いた自動ゴール生成
動的距離関数を自己教師ありで学習し、難易度に応じたゴールのカリキュラムを自動生成することで、マルチゴール強化学習のサンプル効率を改善する手法を提案した論文。
原題: Automatic Goal Generation using Dynamical Distance Learning / Bharat Prakash, Nicholas Waytowich, Tinoosh Mohsenin 他
日本語で読む → - 論文XAI/強化学習ロボティクス
深層強化学習で制御するロボットレバー操作における因果的Shapley値と限界的Shapley値の比較
ロボットマニピュレータのレバー操作タスクで、KernelSHAPと因果SHAPを比較し、因果関係のドメイン知識を取り入れることで人間の直感に沿った説明が得られることを示した。
原題: Causal versus Marginal Shapley Values for Robotic Lever Manipulation Controlled using Deep Reinforcement Learning / Sindre Benjamin Remman, Inga Strümke, Anastasios M. Lekkas
日本語で読む → - 論文自動運転/強化学習ロボティクス
認知階層理論と強化学習による省エネ自動運転
人間ドライバーの認知的行動モデルと強化学習を組み合わせ、人間運転車と混在する道路でエネルギー効率の良い自動運転方策を学習する枠組みを提案した。
原題: Energy-Efficient Autonomous Driving Using Cognitive Driver Behavioral Models and Reinforcement Learning / Huayi Li, Nan Li, Ilya Kolmanovsky 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
汎用強化学習模倣(GRI):視覚ベース自動運転への応用
専門家デモを常に高報酬を得る完璧なデータとみなし、オフラインのデモエージェントとオンラインRLエージェントの経験を区別なく併用するGRIを提案し、都市環境の視覚ベース自動運転で大幅な性能向上を達成した。
原題: GRI: General Reinforced Imitation and its Application to Vision-Based Autonomous Driving / Raphael Chekroun, Marin Toromanoff, Sascha Hornauer 他
日本語で読む → - 論文強化学習機械学習
SEIHAI: サンプル効率の高い階層型AIによるMineRL競技への挑戦
MineRLのObtainDiamondタスクを、人間のデモンストレーションを活用してタスクを逐次的なサブタスクに分割し、強化学習と模倣学習で各エージェントを訓練、スケジューラで自動選択する階層型AIを提案し、NeurIPS-2020 MineRL競技で優勝した。
原題: SEIHAI: A Sample-efficient Hierarchical AI for the MineRL Competition / Hangyu Mao, Chao Wang, Xiaotian Hao 他
日本語で読む → - 論文制御/強化学習制御
固定翼UAVの姿勢制御に向けたデータ効率の良い深層強化学習:実機飛行実験
固定翼UAVの姿勢制御を深層強化学習で学習し、わずか3分の飛行データでシミュレーション訓練後に実機へ転移、ArduPlaneのPID制御と同等の性能を実現した。
原題: Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments / Eivind Bøhn, Erlend M. Coates, Dirk Reinhardt 他
日本語で読む →
PR・アフィリエイト広告
