論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2021/8/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文強化学習/マニピュレーション機械学習
多様性に基づく軌跡と目標選択を用いたHindsight Experience Replay
HERの経験サンプリングを改善するため、行列式点過程(DPP)で目標状態の多様性に基づき軌跡と遷移を選択するDTGSHを提案し、ロボットマニピュレーション5タスクで学習効率と性能の向上を示した。
原題: Diversity-based Trajectory and Goal Selection with Hindsight Experience Replay / Tianhong Dai, Hengyan Liu, Kai Arulkumaran 他
日本語で読む → - 論文視覚強化学習AI
視覚連続制御を極める:改良データ拡張強化学習
データ拡張を用いたモデルフリー強化学習DrQを改良し、ピクセル観測からヒューマノイド歩行を含む複雑な連続制御タスクを単一GPUで効率的に学習できるDrQ-v2を提案した論文。
原題: Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning / Denis Yarats, Rob Fergus, Alessandro Lazaric 他
日本語で読む → - 論文メタ強化学習機械学習
オフラインメタ強化学習におけるオンライン自己教師あり学習の活用
オフラインデータでメタ学習した方策が適応時に生じる分布シフトを、報酬ラベル不要のオンライン教師なしデータ収集で橋渡しするハイブリッド手法を提案し、ロボットの歩行・操作タスクで有効性を示した。
原題: Offline Meta-Reinforcement Learning with Online Self-Supervision / Vitchyr H. Pong, Ashvin Nair, Laura Smith 他
日本語で読む → - 論文強化学習理論機械学習
強化学習における平均報酬と割引報酬の最適性基準の再検討
強化学習の最適性基準である平均報酬と割引報酬の関係を体系的に整理し、人工的な割引因子の問題点と割引不要な平均報酬基準を直接最大化する利点を論じた論文。
原題: Examining average and discounted reward optimality criteria in reinforcement learning / Vektor Dewanto, Marcus Gallagher
日本語で読む → - 論文強化学習機械学習
モデルベース後知恵経験再生
学習したダイナミクスモデルで仮想的な達成ゴールを生成し、それを用いて経験を再ラベリングすることで、多ゴール強化学習のサンプル効率を大幅に改善する手法を提案した論文。
原題: MHER: Model-based Hindsight Experience Replay / Rui Yang, Meng Fang, Lei Han 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
分布強化学習による安全干渉を最小化する快適な自動運転
分布強化学習を用いて、実行時に保守性を調整しながら安全検証でフェイルセーフを保証し、安全干渉を抑えた快適な自動運転ポリシーを学習した論文。
原題: Minimizing Safety Interference for Safe and Comfortable Automated Driving with Distributional Reinforcement Learning / Danial Kamran, Tizian Engelgeh, Marvin Busch 他
日本語で読む → - 論文強化学習/報酬整形AI
計画に基づく緩和型報酬整形による目標指向タスクの学習効率化
強化学習の探索問題に対し、従来のポテンシャルベース報酬整形の最適性保証を緩和したFinal-Volume-Preserving報酬整形を提案し、近似計画を活用してロボットマニピュレーションタスクのサンプル効率を改善した。
原題: Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks / Ingmar Schubert, Ozgur S. Oguz, Marc Toussaint
日本語で読む → - 論文マルチモーダル強化学習機械学習
マルチモーダル相互情報量学習による堅牢な自己教師あり深層強化学習
複数の(信頼性の低い可能性もある)センサーから共有表現を学ぶため、相互情報量の下界で訓練する新しいマルチモーダル潜在状態空間モデルを提案し、欠測時にも強い方策学習を実現した。
原題: Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning / Kaiqi Chen, Yong Lee, Harold Soh
日本語で読む → - 論文逆強化学習ロボティクス
モデルベース逆強化学習による時間不変な報酬関数の学習
実演から時間不変なコストを学習することで、実行速度や時間的ずれに依存せず汎化する報酬関数を獲得する手法を提案し、Kukaアームでの配置・ペグ挿しタスクで有効性を示した。
原題: Learning Time-Invariant Reward Functions through Model-Based Inverse Reinforcement Learning / Todor Davchev, Sarah Bechtle, Subramanian Ramamoorthy 他
日本語で読む → - 論文強化学習/ナビゲーションロボティクス
階層型強化学習による配管内検査の自律化
複雑な配管網を移動する管内検査ロボットの自律制御に向けて、深層強化学習と階層型方策分解を導入し、人間を上回るナビゲーション性能を実現した。
原題: Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning / Nicolò Botteghi, Luuk Grefte, Mannes Poel 他
日本語で読む → - 論文強化学習機械学習
データ拡張下での深層Q学習の安定化:ConvNetとVision Transformer
データ拡張を用いたオフポリシー強化学習の不安定性が高分散なQターゲットに起因することを特定し、それを安定化する簡便な手法を提案。画像ベースRLのサンプル効率と汎化性能をConvNetとViTの両方で向上させた。
原題: Stabilizing Deep Q-Learning with ConvNets and Vision Transformers under Data Augmentation / Nicklas Hansen, Hao Su, Xiaolong Wang
日本語で読む → - 論文マルチエージェント強化学習ロボティクス
自動運転における社会的協調と利他性
混合交通環境での自動運転車の行動計画を部分観測確率ゲームとして定式化し、マルチエージェント強化学習で利他的な社会効用を最適化する方策を学習させた研究。
原題: Social Coordination and Altruism in Autonomous Driving / Behrad Toghi, Rodolfo Valiente, Dorsa Sadigh 他
日本語で読む → - 論文言語モデル×強化学習自然言語
テキストベースゲーム攻略のための事前学習済み言語モデルの活用
Transformer言語モデルと深層強化学習を組み合わせ、テキストベースゲームにおけるエージェントの言語理解を向上させ、Zork1で最高スコアを達成した研究。
原題: Pre-trained Language Models as Prior Knowledge for Playing Text-based Games / Ishika Singh, Gargi Singh, Ashutosh Modi
日本語で読む → - 論文強化学習/制御AI
非標準環境下でのクアッドコプター姿勢制御に向けた形式性能指標付き強化学習
モーター故障や突風などの非標準条件下でクアッドコプターの姿勢制御器を強化学習で設計し、信号時相論理に基づく性能指標で評価した研究。
原題: Reinforcement Learning with Formal Performance Metrics for Quadcopter Attitude Control under Non-nominal Contexts / Nicola Bernini, Mikhail Bessa, Rémi Delmas 他
日本語で読む → - 論文強化学習機械学習
想像上のサブゴールを用いた目標条件付き強化学習
高レベル方策が目標への中間状態を想像して事前方策を定義し、KL制約付き方策反復に組み込むことで、長期的推論を要する複雑なロボットナビゲーション・操作タスクの学習を効率化した研究。
原題: Goal-Conditioned Reinforcement Learning with Imagined Subgoals / Elliot Chane-Sane, Cordelia Schmid, Ivan Laptev
日本語で読む → - 論文逆強化学習機械学習
部分制御環境における逆強化学習のための階層ベイズモデル
実世界で逆強化学習を行う際に生じる、専門家以外の物体やエージェントによる妨害観測を明示的にモデル化する階層ベイズ手法を提案し、シミュレーションの仕分けタスクで有効性を示した。
原題: A Hierarchical Bayesian model for Inverse RL in Partially-Controlled Environments / Kenneth Bogert, Prashant Doshi
日本語で読む → - 論文強化学習/ハイブリッド制御ロボティクス
ベイズ制御融合:ロボティクス深層強化学習における制御事前知識の活用
従来の手設計制御器と深層強化学習を不確実性を考慮して融合し、安全な探索と制御事前知識を超える性能を実現するハイブリッド制御手法を提案。
原題: Bayesian Controller Fusion: Leveraging Control Priors in Deep Reinforcement Learning for Robotics / Krishan Rana, Vibhavari Dasagi, Jesse Haviland 他
日本語で読む → - 論文自動運転/マルチエージェント強化学習ロボティクス
マルチエージェントA2Cによる協調型自動運転車の利他的マニューバ計画
マルチエージェント強化学習(A2C)を用い、周囲の自動運転車や人間ドライバーの効用を考慮した利他的なマニューバ計画を分散報酬設計で学習させる手法を提案した論文。
原題: Altruistic Maneuver Planning for Cooperative Autonomous Vehicles Using Multi-agent Advantage Actor-Critic / Behrad Toghi, Rodolfo Valiente, Dorsa Sadigh 他
日本語で読む → - 論文強化学習機械学習
MURAL: 成果駆動型強化学習のためのメタ学習による不確実性考慮型報酬
成功例から報酬を自動学習する際、不確実性を考慮した分類器をメタ学習で構築し、探索と目標誘導を両立させる手法を提案した論文。
原題: MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning / Kevin Li, Abhishek Gupta, Ashwin Reddy 他
日本語で読む → - 論文探索/強化学習ロボティクス
MarsExplorer:深層強化学習と手続き生成環境による未知地形の探索
未知地形の探索・被覆問題を強化学習で解くため、OpenAI Gym互換の環境MarsExplorerを構築し、複数のRLアルゴリズムを訓練・評価した。
原題: MarsExplorer: Exploration of Unknown Terrains via Deep Reinforcement Learning and Procedurally Generated Environments / Dimitrios I. Koutras, Athanasios Ch. Kapoutsis, Angelos A. Amanatiadis 他
日本語で読む → - 論文制御/強化学習機械学習
将来の参照情報を活用したPPOによる追従制御
将来の参照値を俳優と評論家に入力する2つの手法を提案し、PPOの追従性能を向上させてPI制御と比較評価した論文。
原題: Proximal Policy Optimization for Tracking Control Exploiting Future Reference Information / Jana Mayer, Johannes Westermann, Juan Pedro Gutiérrez H. Muriedas 他
日本語で読む → - 論文強化学習ロボティクス
RRL: 強化学習のための表現としてのResNet
事前学習済みResNetの特徴量を強化学習パイプラインに融合し、カメラや関節エンコーダなどの自己受容センサ入力から複雑な器用な操作行動を直接学習する手法を提案した論文。
原題: RRL: Resnet as representation for Reinforcement Learning / Rutav Shah, Vikash Kumar
日本語で読む → - 論文強化学習機械学習
サブゴールカリキュラムによる自律強化学習
毎試行のリセットを不要にし、初期状態のカリキュラムを自動生成してエージェントが容易なタスクから難しいタスクへと学習できるVaPRLを提案した論文。
原題: Autonomous Reinforcement Learning via Subgoal Curricula / Archit Sharma, Abhishek Gupta, Sergey Levine 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
強化学習による交渉を考慮した自動運転車の動作計画
強化学習で予測ホライズンを動的に調整し、他車の意図変化に適応する交渉型動作計画を提案。狭路走行の実験で社会ジレンマを緩和できることを示した。
原題: Reinforcement Learning based Negotiation-aware Motion Planning of Autonomous Vehicles / Zhitao Wang, Yuzheng Zhuang, Qiang Gu 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
視覚に基づく深層模倣強化学習による自動運転レース
模倣学習とモデルベース強化学習を組み合わせ、視覚入力のみでアジャイルな自動運転レースを実現する手法を提案し、シミュレーションと実機の小型RCカーで有効性を示した。
原題: Vision-Based Autonomous Car Racing Using Deep Imitative Reinforcement Learning / Peide Cai, Hengli Wang, Huaiyang Huang 他
日本語で読む → - 論文強化学習機械学習
学習済みスキルを活用したデモンストレーション誘導強化学習
過去の経験から再利用可能なスキルを学習し、デモンストレーションをプリミティブ動作ではなくスキル単位で追従することで、長期タスクの強化学習を効率化する手法SkiLDを提案した論文。
原題: Demonstration-Guided Reinforcement Learning with Learned Skills / Karl Pertsch, Youngwoon Lee, Yue Wu 他
日本語で読む → - 論文強化学習機械学習
最短経路制約付き強化学習によるスパース報酬タスクの効率化
エージェントの軌道にk-最短経路制約を課し、冗長な探索を抑えることでスパース報酬タスクのサンプル効率を改善する手法を提案した論文。
原題: Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks / Sungryull Sohn, Sungtae Lee, Jongwook Choi 他
日本語で読む → - 論文自動運転/強化学習ロボティクス
安全な操縦カタログと強化学習による協調的合流の意思決定
合流シーンで強化学習エージェントが高レベル判断を出し、安全制約付きプランナが衝突回避を保証する協調自動運転手法を提案した。
原題: High-level Decisions from a Safe Maneuver Catalog with Reinforcement Learning for Safe and Cooperative Automated Merging / Danial Kamran, Yu Ren, Martin Lauer
日本語で読む → - 論文UAVナビゲーション/強化学習制御
SACHER:事後経験再生を組み込んだソフトアクター・クリティックによるUAVナビゲーションと制御
SACにHindsight Experience Replayを組み合わせたSACHERを提案し、障害物環境下でのUAVの航路生成・制御においてSACやDDPGより高い追従精度と累積報酬を達成した。
原題: Deep Reinforcement Learning-based UAV Navigation and Control: A Soft Actor-Critic with Hindsight Experience Replay Approach / Myoung Hoon Lee, Jun Moon
日本語で読む → - 論文強化学習landmark
決定トランスフォーマー:系列モデリングによる強化学習
強化学習を系列モデリング問題として定式化し、トランスフォーマーで報酬から行動を直接予測する手法を提案した論文。
原題: Decision Transformer: Reinforcement Learning via Sequence Modeling
日本語で読む →
PR・アフィリエイト広告
