論文
フィジカルAI関連の最新論文を、日本語のひとことで。原題は英語です。
最新論文: 2022/10/1 / arXivを3時間ごとに自動収集
📖 UMIデバイス・カタログ(日本語版)UMI式データ収集デバイスと主要データセットを日本語で俯瞰 →- 論文飛行制御/強化学習ロボティクス
アクター・クリティック強化学習によるクアッドロータのロバストで低レベル非依存な制御器の設計
ドメインランダム化を用いたSoft Actor-Criticベースの低レベル経路誘導制御器を訓練し、ペイロードの積み下ろしタスクにおいて従来のPID制御器より優れた性能とロバスト性を示した。
原題: Designing a Robust Low-Level Agnostic Controller for a Quadrotor with Actor-Critic Reinforcement Learning / Guilherme Siqueira Eduardo, Wouter Caarls
日本語で読む → - 論文強化学習機械学習
PPOにおける不確実性推定の実現方法
Actor-Critic型強化学習(PPO)において不確実性と分布外状態の定義を提案し、複数の推定手法を比較評価して報酬とOOD検出のトレードオフをパレート最適化で解決する。
原題: How to Enable Uncertainty Estimation in Proximal Policy Optimization / Eugene Bykovets, Yannick Metz, Mennatallah El-Assady 他
日本語で読む → - 論文オフライン強化学習stat.ML
教師あり学習による暗黙的オフライン強化学習
固定データセットからロボットスキルを獲得するため、暗黙的モデルでリターン情報を活用するオフライン強化学習手法を提案し、高次元の操作・歩行タスクで有効性を示した。
原題: Implicit Offline Reinforcement Learning via Supervised Learning / Alexandre Piche, Rafael Pardinas, David Vazquez 他
日本語で読む → - 論文強化学習機械学習
効率的な深層強化学習のための柔軟な注意機構に基づくマルチポリシー融合
複数の知識ポリシーを注意機構で柔軟に組み合わせて融合する強化学習フレームワークKGRLを提案し、サンプル効率と汎化性能を向上させた。
原題: Flexible Attention-Based Multi-Policy Fusion for Efficient Deep Reinforcement Learning / Zih-Yun Chiu, Yi-Lin Tuan, William Yang Wang 他
日本語で読む → - 論文安全強化学習機械学習
制約付きマルコフ決定過程における安全な方策改善
形式的要件から報酬を自動整形し、安全性違反を増やさずに方策を改善するアルゴリズムを提案し、モデルベースRLと組み合わせて制御ベンチマークで有効性を示した。
原題: Safe Policy Improvement in Constrained Markov Decision Processes / Luigi Berducci, Radu Grosu
日本語で読む → - 論文強化学習ロボティクス
AACHER: 後方視的経験再生を用いた多様なアクター・クリティック深層強化学習
DDPGのアクターとクリティックを複数化して平均を取ることで安定性を高め、後方視的経験再生(HER)と組み合わせたAACHERを提案し、目標ベースのロボットタスクで性能を向上させた。
原題: AACHER: Assorted Actor-Critic Deep Reinforcement Learning with Hindsight Experience Replay / Adarsh Sehgal, Muskan Sehgal, Hung Manh La
日本語で読む → - 論文強化学習機械学習
D-Shape: 目標条件付けによる模倣形状強化学習
模倣学習と強化学習を報酬整形と目標条件付きRLで統合し、劣ったデモからでも最適方策を学習できる手法を提案。
原題: D-Shape: Demonstration-Shaped Reinforcement Learning via Goal Conditioning / Caroline Wang, Garrett Warnell, Peter Stone
日本語で読む → - 論文強化学習機械学習
スキルベース強化学習のための内在報酬マッチング
事前学習したスキル識別器を活用し、内在報酬とタスク報酬をマッチングさせることで、環境サンプルなしに最適なスキルを選択し、サンプル効率よくファインチューニングする手法を提案。
原題: Skill-Based Reinforcement Learning with Intrinsic Reward Matching / Ademi Adeniji, Amber Xie, Pieter Abbeel
日本語で読む → - 論文メタ強化学習機械学習
メタ強化学習におけるハイパーネットワーク
メタ強化学習においてハイパーネットワークの初期化が性能に大きく影響することを示し、新しい初期化手法を提案して複数のロボティクスベンチマークで有効性を検証した。
原題: Hypernetworks in Meta-Reinforcement Learning / Jacob Beck, Matthew Thomas Jackson, Risto Vuorio 他
日本語で読む → - 論文強化学習AI
対話型強化学習における広域的・持続的アドバイスの活用
対話型強化学習において、与えられた助言を一度きりで捨てずに保持・再利用し、現在の状態だけでなく広く適用できるようにする手法を提案し、エージェントの性能向上と訓練者の介入回数削減を実現した。
原題: Broad-persistent Advice for Interactive Reinforcement Learning Scenarios / Francisco Cruz, Adam Bignold, Hung Son Nguyen 他
日本語で読む → - 論文強化学習ロバスト性ロボティクス
外乱注入による連続制御向け強化学習のロバスト性評価
オープンソースのベンチマークで外乱を注入し、連続行動空間における強化学習アルゴリズムのロバスト性を比較評価した。
原題: Characterising the Robustness of Reinforcement Learning for Continuous Control using Disturbance Injection / Catherine R. Glossop, Jacopo Panerati, Amrit Krishnan 他
日本語で読む → - 論文メタ強化学習ロボティクス
メタ強化学習におけるタスク表現の disentangle によるゼロショット方策転移
メタ強化学習でタスクを複数の属性に分解して表現し、未知の組み合わせタスクにも追加探索なしでゼロショットに方策を汎化する手法を提案し、実機の挿入タスクで検証した。
原題: Zero-Shot Policy Transfer with Disentangled Task Representation of Meta-Reinforcement Learning / Zheng Wu, Yichen Xie, Wenzhao Lian 他
日本語で読む → - 論文階層型強化学習機械学習
意味的ゴールを用いた解釈可能な階層型エージェントフレームワーク
計画と意味的ゴール指向強化学習を組み合わせ、空間・触覚述語から解釈可能なゴール空間を構築することで、長期的タスクを効率的に学習する階層型エージェントを提案した。
原題: Towards an Interpretable Hierarchical Agent Framework using Semantic Goals / Bharat Prakash, Nicholas Waytowich, Tim Oates 他
日本語で読む → - 論文強化学習機械学習
ムーブメントプリミティブを用いた深層ブラックボックス強化学習
ムーブメントプリミティブのパラメータをブラックボックス最適化するエピソードベース強化学習に、微分可能な信頼領域層を導入した深層学習アルゴリズムを提案し、疎・非マルコフ報酬で従来手法を上回ることを示した。
原題: Deep Black-Box Reinforcement Learning with Movement Primitives / Fabian Otto, Onur Celik, Hongyi Zhou 他
日本語で読む → - 論文逆強化学習ロボティクス
対話的自律性のための選好学習
人間が与える比較フィードバック(ペア比較やランキングなど)からロボットの報酬関数を学習する手法を提案した博士論文。
原題: Learning Preferences for Interactive Autonomy / Erdem Bıyık
日本語で読む → - 論文自動運転/強化学習ロボティクス
混合方策勾配とその実験検証による高レベル自動運転のための統合意思決定・制御
強化学習に基づく統合意思決定・制御フレームワークにおいて、制約付き混合方策勾配と注意ベース符号化を組み合わせたデータ駆動型システムを開発し、実車実験で有効性を検証した。
原題: Integrated Decision and Control for High-Level Automated Vehicles by Mixed Policy Gradient and Its Experiment Verification / Yang Guan, Liye Tang, Chuanxiao Li 他
日本語で読む → - 論文安全強化学習ロボティクス
不確実性を考慮した到達可能性証明による安全なモデルベース強化学習
モデルの不確実性に対処する分布型到達可能性証明(DRC)を提案し、訓練中の制約違反を抑えつつ高いリターンを得る安全なモデルベース強化学習フレームワークを構築した。
原題: Safe Model-Based Reinforcement Learning with an Uncertainty-Aware Reachability Certificate / Dongjie Yu, Wenjun Zou, Yujie Yang 他
日本語で読む → - 論文メタ強化学習機械学習
BIMRL: 脳に着想を得たメタ強化学習
脳の記憶機構に着想を得た記憶モジュールと新規の内的報酬を組み合わせ、少ない試行で新しいタスクに適応できるメタ強化学習手法を提案した。
原題: BIMRL: Brain Inspired Meta Reinforcement Learning / Seyed Roozbeh Razavi Rohani, Saeed Hedayatian, Mahdieh Soleymani Baghshah
日本語で読む → - 論文安全強化学習ロボティクス
多項式ゾノトープと到達可能性解析を用いた行動投影による証明可能な安全強化学習
強化学習エージェントの行動を安全な行動に投影する安全シールドを提案し、多項式ゾノトープによる到達可能性解析で非線形連続システムの安全性を保証する。
原題: Provably Safe Reinforcement Learning via Action Projection using Reachability Analysis and Polynomial Zonotopes / Niklas Kochdumper, Hanna Krasowski, Xiao Wang 他
日本語で読む → - 論文オフライン強化学習機械学習
限られたデータでのオフライン強化学習のためのデータ効率的パイプライン
限られた履歴データからオフライン強化学習のアルゴリズムとハイパーパラメータを自動選択・展開するパイプラインを提案し、複数のデータ分割が重要であることを示した。
原題: Data-Efficient Pipeline for Offline Reinforcement Learning with Limited Data / Allen Nie, Yannis Flet-Berliac, Deon R. Jordan 他
日本語で読む → - 論文マルチエージェント強化学習/自動運転ロボティクス
難シーンにおけるコネクテッド自動運転車の時空間認識型安全マルチエージェント強化学習
GCN-Transformerで時空間情報を符号化し、制御バリア関数による安全シールドを組み込んだ制約付きマルチエージェント強化学習により、非接続の危険車両が存在する難運転シーンでのCAVの安全性と効率を向上させる手法を提案した。
原題: Spatial-Temporal-Aware Safe Multi-Agent Reinforcement Learning of Connected Autonomous Vehicles in Challenging Scenarios / Zhili Zhang, Songyang Han, Jiangwei Wang 他
日本語で読む → - 論文強化学習探索機械学習
最適軌道の情報獲得のための計画に基づく探索
タスクと現在のダイナミクス知識を考慮し、最適軌道に関する期待情報利得を最大化する行動列を計画することで、強化学習のサンプル効率を大幅に改善する手法を提案した。
原題: Exploration via Planning for Information about the Optimal Trajectory / Viraj Mehta, Ian Char, Joseph Abbate 他
日本語で読む → - 論文強化学習AI
マルチタスク方策学習から創発する単純な行動表現
マルチタスク方策ネットワークに状態とタスク埋め込みを入力すると意味のある行動表現空間が創発し、埋め込みの補間や合成で行動系列を指示できることを示した研究。
原題: Simple Emergent Action Representations from Multi-Task Policy Training / Pu Hua, Yubei Chen, Huazhe Xu
日本語で読む → - 論文オフライン強化学習機械学習
オフラインからオンライン強化学習への安定した適応のための適応的行動クローニング正則化
オフライン強化学習で事前学習したエージェントをオンライン微調整する際、行動クローニング損失の重みを性能と安定性に基づいて適応的に調整し、さらにQ関数のランダム化アンサンブルを用いることで、性能崩壊を防ぎつつサンプル効率を向上させる手法を提案。
原題: Adaptive Behavior Cloning Regularization for Stable Offline-to-Online Reinforcement Learning / Yi Zhao, Rinu Boney, Alexander Ilin 他
日本語で読む → - 論文強化学習/飛行制御ロボティクス
Harfang3D ドッグファイト・サンドボックス:戦闘機のカスタム制御タスク向け強化学習研究プラットフォーム
戦闘機の飛行制御やドッグファイトを強化学習で研究するための半リアルな3D飛行シミュレーション環境を提案し、指定地点への航法と近距離空戦の2タスクで学習実験を行った。
原題: Harfang3D Dog-Fight Sandbox: A Reinforcement Learning Research Platform for the Customized Control Tasks of Fighter Aircrafts / Muhammed Murat Özbek, Süleyman Yıldırım, Muhammet Aksoy 他
日本語で読む → - 論文強化学習機械学習
筋シナジーによる低ランクモジュラー強化学習
人間の筋制御に着想を得て、アクチュエータを教師なし学習でシナジーにグループ化し、シナジー単位で低ランク制御を学習する強化学習フレームワークを提案。多自由度ロボットで高い効率と汎化性能を示した。
原題: Low-Rank Modular Reinforcement Learning via Muscle Synergy / Heng Dong, Tonghan Wang, Jiayuan Liu 他
日本語で読む → - 論文オフライン強化学習機械学習
行動なし軌道を用いた半教師ありオフライン強化学習
ラベル付き軌道から逆動力学モデルを学習し、ラベルなし軌道に代理ラベルを付与することで、オフライン強化学習を半教師あり設定で行う手法を提案し、その有効性を検証した。
原題: Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories / Qinqing Zheng, Mikael Henaff, Brandon Amos 他
日本語で読む → - 論文安全強化学習AI
対照的リスク予測による安全な強化学習
状態行動ペアが危険状態に至る確率を予測する対照的統計分類器を学習し、リスク回避的な軌道収集と報酬整形によって安全な強化学習方策を実現する手法を提案した。
原題: Safe Reinforcement Learning with Contrastive Risk Prediction / Hanping Zhang, Yuhong Guo
日本語で読む → - 論文強化学習ナビゲーションロボティクス
深層強化学習によるハイブリッド空水両用機のマップレスナビゲーションと環境汎化
再帰型ニューラルネットワークと二重クリティック強化学習を用いて、距離データと相対位置のみからハイブリッド空水両用機のマップレスナビゲーションと空中・水中間の遷移を実現し、未知環境への汎化性能を向上させた。
原題: Mapless Navigation of a Hybrid Aerial Underwater Vehicle with Deep Reinforcement Learning Through Environmental Generalization / Ricardo B. Grando, Junior C. de Jesus, Victor A. Kich 他
日本語で読む → - 論文強化学習探索機械学習
深層強化学習におけるロバスト探索のための自己教師あり逐次情報ボトルネック
時系列観測の逐次予測情報を圧縮する情報ボトルネック目的を導入し、ノイズに頑健なタスク関連の新規性に基づく内在的報酬で探索を効率化する手法を提案。
原題: Self-supervised Sequential Information Bottleneck for Robust Exploration in Deep Reinforcement Learning / Bang You, Jingming Xie, Youping Chen 他
日本語で読む →
PR・アフィリエイト広告
