論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2020/11/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習q-bio.QM
筋骨格モデルにおける到達運動の強化学習制御
人間の上肢の筋骨格モデルに対し、信号依存性・一定の運動ノイズと運動時間最小化の仮定のもと強化学習で到達運動を学習させ、Fittsの法則や2/3乗則が再現されることを示した。
原題: Reinforcement Learning Control of a Biomechanical Model of the Upper Extremity / Florian Fischer, Miroslav Bachinski, Markus Klar 他
日本語で読む → - 論文強化学習ロボティクス
実世界ロボット強化学習のための反事実予測のオフライン学習
視覚と力覚のマルチモーダル観測から関節速度を出力する方策を、オフラインサンプルで学習した反事実予測と力覚フィードバックを組み合わせて、終端報酬のみで効率的に実世界強化学習する手法を提案した論文。
原題: Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning / Jun Jin, Daniel Graves, Cameron Haigh 他
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
FireCommander:異種ロボットチーム向け対話型確率的マルチエージェント環境
拡大する火災と施設を舞台に、知覚・通信・消火行動を協調して行う異種ロボットチームの研究用ゲーム環境を提案したチュートリアル論文。
原題: FireCommander: An Interactive, Probabilistic Multi-agent Environment for Heterogeneous Robot Teams / Esmaeil Seraj, Xiyang Wu, Matthew Gombolay
日本語で読む → - 論文外骨格/強化学習ロボティクス
強化学習による股関節外骨格の最適・適応的パーソナライズ
人間-ロボット動力学のモデル化なしに強化学習で歩行時の股関節外骨格のアシストトルクを最適かつ適応的に個人調整する枠組みを提案し、健常者で有効性を検証した。
原題: A Data-Driven Reinforcement Learning Solution Framework for Optimal and Adaptive Personalization of a Hip Exoskeleton / Xikai Tu, Minhan Li, Ming Liu 他
日本語で読む → - 論文マルチロボット/強化学習ロボティクス
深層強化学習によるマルチロボットナビゲーションの分散型動作計画
共有方策学習を用いた分散型動作計画で、限られた状態情報しか共有しない4台の非ホロノミックロボットが、動的障害物を避けつつ目的地へ連続行動でナビゲーションできることをシミュレータ実験で示した。
原題: Decentralized Motion Planning for Multi-Robot Navigation using Deep Reinforcement Learning / Sivanathan Kandhasamy, Vinayagam Babu Kuppusamy, Tanmay Vilas Samak 他
日本語で読む → - 論文モデルベース強化学習機械学習
DeepKoCo: タスクに関連するKoopman表現を用いた効率的な潜在計画
画像からタスクに関連するKoopman潜在表現を学習し、線形モデル予測制御で効率的に計画するモデルベースエージェントを提案。複雑な制御タスクでモデルフリー手法と同等の性能を保ちつつ、妨害的ダイナミクスへの頑健性が高い。
原題: DeepKoCo: Efficient latent planning with a task-relevant Koopman representation / Bas van der Heijden, Laura Ferranti, Jens Kober 他
日本語で読む → - 論文オフライン強化学習機械学習
未ラベル経験を活用するオフライン強化学習と模倣学習の融合
実演と品質不明の未ラベルデータを対比して報酬関数を学習し、全データに報酬を付与してオフライン強化学習で方策を訓練するORILを提案。連続制御やロボット操作タスクでBCを上回る性能を示した。
原題: Offline Learning from Demonstrations and Unlabeled Experience / Konrad Zolna, Alexander Novikov, Ksenia Konyushkova 他
日本語で読む → - 論文強化学習×模倣学習ロボティクス
不完全なデモンストレーションを用いた生成モデルによる強化学習の報酬整形
デモデータから生成モデルで状態・行動依存のポテンシャルを学習し報酬整形に用いることで、不完全なデモでも偏りなく方策学習を加速する手法を提案し、Frankaアームで実証した。
原題: Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models / Yuchen Wu, Melissa Mozifian, Florian Shkurti
日本語で読む → - 論文強化学習/安全計画ロボティクス
モデルフリー強化学習によるステルス攻撃に耐える安全計画
制御信号への攻撃を確率的ゲームとして定式化し、環境が未知でもモデルフリー強化学習でLTL仕様を満たす安全な計画を学習する手法を提案した。
原題: Secure Planning Against Stealthy Attacks via Model-Free Reinforcement Learning / Alper Kamil Bozkurt, Yu Wang, Miroslav Pajic
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
部分観測マルチエージェント問題に対するマルチエージェントロールアウトと方策反復:マルチロボット修復問題への応用
部分観測下のマルチエージェント動的計画問題に対し、計算量をO(C^m)からO(Cm)に削減するロールアウト法を提案し、複数ロボットが協調してシステムを点検・修復する問題に適用して有効性を示した論文。
原題: Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems / Sushmita Bhattacharya, Siva Kailas, Sahil Badyal 他
日本語で読む → - 論文強化学習/マニピュレーションロボティクス
拡張好奇心駆動型経験リプレイ
目標指向の好奇心探索と動的な初期状態選択を組み合わせ、報酬が疎なロボットマニピュレーションタスクのサンプル効率を改善する手法を提案した論文。
原題: ACDER: Augmented Curiosity-Driven Experience Replay / Boyao Li, Tao Lu, Jiayi Li 他
日本語で読む → - 論文強化学習ロボティクス
ロボットの内省的自己理解:ニューロン活性から内部状態を学習する
特徴抽出ネットワークの活性をVAEで再構成して内部状態を構築し、actor-criticの行動選択性能を向上させ、学習に必要なエピソード数を約1300削減した。
原題: Intrinsic Robotic Introspection: Learning Internal States From Neuron Activations / Nikos Pitsillos, Ameya Pore, Bjorn Sand Jensen 他
日本語で読む → - 論文逆強化学習機械学習
逆強化学習による制約の学習
制約を守るエージェントのデモンストレーションから、そのエージェントが従っている制約をモデルフリーで学習する枠組みを提案し、学習した制約が異なる形態や報酬関数を持つ新たなエージェントにも転移可能であることを示した。
原題: Inverse Constrained Reinforcement Learning / Usman Anwar, Shehryar Malik, Alireza Aghasi 他
日本語で読む → - 論文強化学習/軌道生成ロボティクス
関節制約を満たすロボット軌道の学習
ニューラルネットの予測を安全な関節加速度に変換することで、位置・速度・加速度・ジャークの制約を超えずに高速で動的なロボット動作を強化学習で獲得する手法を提案。
原題: Learning Robot Trajectories subject to Kinematic Joint Constraints / Jonas C. Kiemel, Torsten Kröger
日本語で読む → - 論文モデルベース強化学習ロボティクス
実世界オフライン強化学習のための微分可能物理モデル
力学構造が既知ならば、物理ベースの微分可能モデルがブラックボックスモデルより優れることを示し、実機で4分のデータのみからボール・イン・カップ課題を学習した。
原題: Differentiable Physics Models for Real-world Offline Model-based Reinforcement Learning / Michael Lutter, Johannes Silberbauer, Joe Watson 他
日本語で読む → - 論文強化学習ロボティクス
連続遷移:MixUpによる連続制御問題のサンプル効率改善
軌道上の連続する遷移を線形補間して新しい遷移を合成し、識別器でその妥当性を保つことで、連続ロボット制御タスクにおける強化学習のサンプル効率を大幅に向上させた研究。
原題: Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp / Junfan Lin, Zhongzhan Huang, Keze Wang 他
日本語で読む → - 論文強化学習制御制御
安定性保証付き強化学習による制約付き動的システムの制御
データのみからリアプノフ法で一様最終有界安定性(UUB)を解析し、安全制約下でも収束時と学習中を通じてUUBを保証するオフポリシー/オンポリシー学習アルゴリズムを提案した論文。
原題: Reinforcement Learning Control of Constrained Dynamic Systems with Uniformly Ultimate Boundedness Stability Guarantee / Minghao Han, Yuan Tian, Lixian Zhang 他
日本語で読む → - 論文強化学習AI
後知恵を用いたエピソード的自己模倣学習
軌跡選択モジュールと適応損失関数を備えたエピソード単位の自己模倣学習を提案し、連続制御の疎報酬タスクにおける強化学習を高速化した論文。
原題: Episodic Self-Imitation Learning with Hindsight / Tianhong Dai, Hengyan Liu, Anil Anthony Bharath
日本語で読む → - 論文能動視覚/強化学習ロボティクス
深層強化学習を用いたヒューマノイドサッカーロボットのリアルタイム能動視覚
ヒューマノイドサッカーロボットの頭部視点をDeep Q-learningで最適化し、自己位置推定に有用なランドマークとボールを同時に捉える能動視覚手法を提案した論文。
原題: Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning / Soheil Khatibi, Meisam Teimouri, Mahdi Rezaei
日本語で読む → - 論文逆強化学習機械学習
ベイズ最適化による逆強化学習での報酬関数の効率的探索
逆強化学習において、方策不変な報酬関数を潜在空間に射影する新カーネルとベイズ最適化を用い、専門家の実演と整合する複数の報酬関数を効率的に探索するBO-IRLを提案した。
原題: Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization / Sreejith Balakrishnan, Quoc Phong Nguyen, Bryan Kian Hsiang Low 他
日本語で読む → - 論文安全強化学習ロボティクス
到達可能性に基づく軌道安全層RTS:連続制御のための安全で高速な強化学習セーフティレイヤ
ロボットの不確実なモデルから前方到達可能集合を事前計算し、強化学習エージェントの軌道選択を実行時に安全か判定・修正する安全層を提案。12次元のクアッドロータなど3つの非線形モデルで有効性を示した。
原題: Reachability-based Trajectory Safeguard (RTS): A Safe and Fast Reinforcement Learning Safety Layer for Continuous Control / Yifei Simon Shao, Chao Chen, Shreyas Kousik 他
日本語で読む → - 論文強化学習機械学習
動画を活用した強化学習:オフライン観察と対話の組み合わせ
人間の動画とロボットの対話データを組み合わせて方策と価値関数を学習するRLVフレームワークを提案し、ゼロから学ぶRLの半分以下のサンプルで視覚ベースの難しいスキルを獲得できることを示した。
原題: Reinforcement Learning with Videos: Combining Offline Observations with Interaction / Karl Schmeckpeper, Oleh Rybkin, Kostas Daniilidis 他
日本語で読む → - 論文モデルベース強化学習機械学習
Critic PI2:経路積分による方策改善と深層アクター・クリティック強化学習を組み合わせた連続計画の習得
軌道最適化・深層アクタークリティック学習・モデルベース強化学習を統合し、連続行動空間での計画を可能にするCritic PI2を提案。倒立振子実験でサンプル効率とリアルタイム性の向上を示した。
原題: Critic PI2: Master Continuous Planning via Policy Improvement with Path Integrals and Deep Actor-Critic Reinforcement Learning / Jiajun Fan, He Ba, Xian Guo 他
日本語で読む → - 論文強化学習ロボティクス
明示的動作を用いない階層型強化学習によるロボット制御
メタ方策が目標状態を操作し、逆動力学モデルが実際の動作を生成する階層型強化学習フレームワークを提案。敵対的学習と情報ボトルネックで訓練を安定化し、状態のみのデモによる模倣学習も可能にした。
原題: NEARL: Non-Explicit Action Reinforcement Learning for Robotic Control / Nan Lin, Yuxuan Li, Yujun Zhu 他
日本語で読む → - 論文モデルベース強化学習機械学習
入れ子型エキスパート混合によるハイブリッド力学系の協調・競合学習
ホワイトボックスとブラックボックスを組み合わせた入れ子型エキスパート混合モデルを提案し、接触や運動・動特性の事前知識を協調・競合学習で取り込み、ハイブリッド力学系のモデルベース強化学習を高効率化した論文。
原題: Nested Mixture of Experts: Cooperative and Competitive Learning of Hybrid Dynamical System / Junhyeok Ahn, Luis Sentis
日本語で読む → - 論文強化学習/追跡逃避ロボティクス
強化学習における足場的リフレクションによる閉鎖空間脱出問題の解法
追跡者に囲まれた閉鎖領域から逃走者が脱出する問題に対し、運動プランナを足場として俳優-批評家ネットワークの学習を補助するSR2L手法を提案し、報酬の疎性による収束困難を改善した。
原題: Scaffolding Reflection in Reinforcement Learning Framework for Confinement Escape Problem / Nishant Mohanty, Suresh Sundaram
日本語で読む → - 論文自動運転/強化学習ロボティクス
B-GAP: 多様な運転行動を持つ交通環境での自動運転ナビゲーション
既存の交通シミュレータに攻撃性の異なる運転行動モデルを組み込み、深層強化学習で密集交通中のローカルナビゲーション方策を学習させた研究。
原題: B-GAP: Behavior-Rich Simulation and Navigation for Autonomous Driving / Angelos Mavrogiannis, Rohan Chandra, Dinesh Manocha
日本語で読む → - 論文強化学習/制御ロボティクス
強化学習によるアクロボット制御の実験的研究
強化学習を用いてアクロボットの角速度や全エネルギーを目標値に制御し、振動や回転を実現する手法を実験的に検証した。状態空間の離散化やエピソード長、質量などのパラメータが制御性能に与える影響も分析した。
原題: Experimental Study on Reinforcement Learning-based Control of an Acrobot / Leo Dostal, Alexej Bespalko, Daniel A. Duecker
日本語で読む → - 論文強化学習機械学習
方策勾配法における誘導探索のための最適制御ベースのベースライン
強化学習の方策勾配法において、最適制御問題の価値関数をベースラインとして用いることで、分散低減だけでなく誘導的な探索を実現し、疎な報酬環境でのロボット学習で有効性を示した論文。
原題: Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods / Xubo Lyu, Site Li, Seth Siriya 他
日本語で読む → - 論文強化学習/飛行制御機械学習
強化学習による堅牢なミサイル自動操縦の設計
TRPOを基盤にHERや優先経験再生を改良したSER手法を提案し、ミサイルの縦方向飛行を制御するモデルフリー強化学習エージェントを訓練して最適性能と不確実性への堅牢性を両立させた。
原題: Reinforcement Learning for Robust Missile Autopilot Design / Bernardo Cortez
日本語で読む →
PR・アフィリエイト広告
